이차방정식 x2+kx−21k2+3k=0이 서로 다른 두 실근을 가지므로 이차방정식
x2+kx−21k2+3k=0의 판별식을 D라 하면
D=k2−4(−21k2+3k)=3k(k−4)>0
k<0 또는 k>4 ⋯⋯㉠
이차방정식의 근과 계수의 관계에 의하여
α+β=−k, αβ=−21k2+3k
또한 α는 이차방정식 x2+kx−21k2+3k=0의 한 근이므로
α2+kα−21k2+3k=0에서 α2=−kα+21k2−3k
α2−kβ=−kα+21k2−3k−kβ
=−k(α+β)+21k2−3k
=k2+21k2−3k
=23k2−3k=12
에서 23k2−3k−12=0, (k+2)(k−4)=0
㉠에 의하여 k=−2
α+β=2, αβ=−8
따라서
α2+β2=(α+β)2−2αβ=22−2×(−8)=20