공통근을 α라 하면
α2+aα+b=0 …㉠
α2+bα+a=0 …㉡
㉠−㉡에서 (a−b)α−(a−b)=0, (a−b)(α−1)=0
a=b이므로 α=1
㉠에서 1+a+b=0이므로 a+b=−1 …㉢
근과 계수의 관계에 의하여
x2+ax+b=0의 두 근의 곱은 b이므로 공통근이 아닌 근은 b
x2+bx+a=0의 두 근의 곱은 a이므로 공통근이 아닌 근은 a
공통근이 아닌 두 근의 곱이 −6이므로 ab=−6 …㉣
㉢, ㉣에서
a2+b2=(a+b)2−2ab=1+12=13
(실제로 a, b는 t2+t−6=0의 두 근 2, −3이고, 이때 두 방정식은 x2+2x−3=0, x2−3x+2=0으로 공통근 1을 갖는다.)
따라서 a2+b2=13