실마리: 점 P가 직선 l 위를 움직일 때 직사각형 OQPR의 넓이는 삼각형 OAB의 넓이의 21을 넘지 못하고, 21이 되는 것은 P가 선분 AB의 중점일 때뿐이다.
P(p,q) (0<p<a)라 하면 P가 직선 ax+by=1 위에 있으므로
q=b(1−ap)=ab(a−p)
직사각형 OQPR의 넓이는 pq=abp(a−p)
삼각형 OAB의 넓이는 21ab이므로 그 21은 41ab
abp(a−p)=41ab에서 4p(a−p)=a2
4p2−4ap+a2=0, (2p−a)2=0
p=2a, q=2b이므로 점 P는 선분 AB의 중점이다.
OP=5이므로 4a2+4b2=25, 즉 a2+b2=100 …… ㉠
직사각형의 넓이가 12이므로 41ab=12, 즉 ab=48 …… ㉡
(a+b)2=a2+b2+2ab=100+96=196
a+b>0이므로 a+b=14
(검산: ㉠, ㉡에서 a, b는 t2−14t+48=0의 두 근 8, 6이므로 a=8, b=6이고 P(4,3), OP=5, 직사각형의 넓이 12, 삼각형의 넓이 24이다.)
따라서 a+b=14