점 C의 좌표를 (t,m) (m>0)이라 하자.
AB2=36, AC2=(t−1)2+m2, BC2=(t−7)2+m2
(ⅰ) A가 직각인 경우
36+(t−1)2+m2=(t−7)2+m2에서 12t=12, 즉 t=1
(ⅱ) B가 직각인 경우
36+(t−7)2+m2=(t−1)2+m2에서 −12t=−84, 즉 t=7
즉 (ⅰ), (ⅱ)에서 점 C는 m의 값에 관계없이 각각 1개씩 있다.
(ⅲ) C가 직각인 경우
(t−1)2+m2+(t−7)2+m2=36
2t2−16t+14+2m2=0, t2−8t+7+m2=0
이 이차방정식의 판별식을 D라 하면
4D=16−(7+m2)=9−m2
점 C가 모두 3개이려면 (ⅲ)에서 점이 오직 1개이어야 하므로
9−m2=0
m>0이므로 m=3
이때 (ⅲ)의 점은 (4,3)으로 (ⅰ), (ⅱ)의 점 (1,3), (7,3)과 서로 다르다.
따라서 m=3