근과 계수의 관계에서
α+β=m+3,αβ=m2−9
두 근의 부호가 서로 다르므로 αβ<0에서
(m+3)(m−3)<0, 즉 −3<m<3 …… ㉠
두 근의 부호가 서로 다르므로 ∣α∣+∣β∣=∣α−β∣
(α−β)2=(α+β)2−4αβ
=(m+3)2−4(m2−9)=−3m2+6m+45
∣α−β∣=6에서 −3m2+6m+45=36
m2−2m−3=0, (m+1)(m−3)=0
m=−1 또는 m=3
㉠에서 m=−1
실제로 m=−1이면 x2−2x−8=(x−4)(x+2)=0이므로 두 근은 4,−2이고 ∣4∣+∣−2∣=6이다.
따라서 m=−1이다.