(f∘f)(x)=x을 만족하기 위해서는
ⅰ) 모든 x에 대하여 f(x)=x이거나
ⅱ) f(p)=q,f(q)=p가 되어야 한다.
ⅰ)의 경우 f(1)=1,f(2)=2가 되면 f(x)는 증가함수가 되어 f′(1)<0, f′(2)<0인 조건에 만족하지 않는다.
ⅱ)의 경우 f(1)=2,f(2)=1,f(0)=0와 f′(0)−f′(1)=6을 만족해야 한다.
f(x)=ax3+bx2+cx+d라 하면 f′(x)=3ax2+2bx2+c이고
f(1)=a+b+c+d=2 ⋯①
f(2)=8a+4b+2c+d=1 ⋯
②
f(0)=d=0 ⋯
③
f′(0)−f′(1)=c−3a−2b−c=6 ⋯
④
①,
②,
③,
④를 연립하면 a=1,b=−29,c=211이므로
f(x)=x3−29x2+211x을 얻는다.
따라서 f(5)=40이다.