다항식 f(x)를 (x−a)2으로 나눈 나머지 2f(x)+6x2−4는 일차식 또는 상수항이어야 하므로
f(x)는 최고차항의 계수가 −3인 이차식이다.
f(x)=−3x2+bx+c(단, b, c는 상수)
{f(x)}2−2f(x)+3을 x2−4x−5로 나눈 몫을 Q(x)라 하면
{f(x)}2−2f(x)+3
=(x2−4x−5)Q(x)+2
=(x+1)(x−5)Q(x)+2 ⋯⋯ ㉠
㉠에 x=−1을 대입하면
{f(−1)}2−2f(−1)+3=2
{f(−1)}2−2f(−1)+1={f(−1)−1}2=0
f(−1)=1, −3−b+c=1 ⋯⋯ ㉡
㉠에 x=5를 대입하면
{f(5)}2−2f(5)+3=2
{f(5)}2−2f(5)+1={f(5)−1}2=0
f(5)=1, −75+5b+c=1 ⋯⋯ ㉢
㉡, ㉢에 의하여 b=12, c=16
f(x)=−3x2+12x+16
f(x)=(x−a)2×(−3)+2f(x)+6x2−4
f(a)=2f(a)+6a2−4
f(a)+6a2−4=−3a2+12a+16+6a2−4
=3(a+2)2=0
a=−2
따라서 f(a2)=f(4)=16