f(X)=X이고 n(X)=2이므로 f(a)=f(b)이고, 다음 두 경우 중 하나이다.
(i) f(a)=a, f(b)=b인 경우
a, b는 방정식 x2−2=x, 즉 x2−x−2=0의 서로 다른 두 근이다.
(x+1)(x−2)=0에서 a=−1, b=2이므로 a2+b2=1+4=5
(ii) f(a)=b, f(b)=a인 경우
a2−2=b, b2−2=a
두 식을 변끼리 빼면 a2−b2=b−a, 즉 (a−b)(a+b)=−(a−b)
a=b이므로 a+b=−1
두 식을 변끼리 더하면 a2+b2−4=a+b=−1이므로 a2+b2=3
이때 ab=2(a+b)2−(a2+b2)=21−3=−1이므로 a, b는 t2+t−1=0의 두 근이고, 이 방정식은 서로 다른 두 실근을 가지므로 조건을 만족시키는 실수 a, b가 실제로 존재한다.
따라서 가능한 a2+b2의 값은 5, 3이고 그 합은 8이다. ④