다항식 f(x)의 차수를 n이라 하자.
이 때, f(f(x)),∫0xf(t)dt의 차수는 각각 n2,n+1이므로 만약 n≥2이라면 주어진 조건식의 좌변과 우변의 차수도 각각 n2,n+1이어야 한다.
그런데, n2=n+1을 만족시키는 자연수 n의 값은 없으므로 n<2임을 알 수 있다.
따라서, f(x)=ax+b로 놓으면
f(f(x))=∫0xf(t)dt−x2+3x+3
a(ax+b)+b=∫0x(at+b)dt−x2+3x+3
=2ax2+bx−x2+3x+3
a2x+(ab+b)=(2a−1)x2+(b+3)x+3
양변의 동류항의 계수를 비교하면
2a−1=0,a2=b+3,ab+b=3
∴a=2,b=1
따라서, 구하는 f(x)의 계수들의 합은
a+b=2+1=3