[출제의도] 합성함수의 미분법과 역함수의 미분법을 이용하여 문제를 해결한다.
f(x)=−x2+1ax3+bx에서
f′(x)=−(x2+1)2(3ax2+b)(x2+1)−(ax3+bx)(2x)
이므로
f′(x)=−(x2+1)2ax4+(3a−b)x2+b ⋯⋯ ㉠
모든 실수 x에 대하여 x2+1=0이므로 함수 f′(x)는 실수 전체의 집합에서 연속이다.
모든 실수 x에 대하여 f′(x)=0이고 f′(0)=−b<0이므로 모든 실수 x에 대하여 f′(x)<0이다.
h(x)=g(f(x))=f(f(x))−x이므로
h(0)=f(f(0))−0=f(0)=0이다.
조건 (가)에서
g(2)=f(2)−f−1(2)=h(0)=0이므로
f(2)=f−1(2)=t (t는 상수)라 하면 f(t)=2이다.
모든 실수 x에 대하여 f(−x)=−f(x)이므로
f(−2)=−f(2)=−t이다.
즉 두 점 (t,2), (−2,−t)는 함수 y=f(x)의 그래프 위에 있다.
t=−2일 때, 두 점 (t,2), (−2,−t)를 지나는 직선의 기울기는 t−(−2)2−(−t)=1이므로 평균값 정리에 의하여
f′(c)=1인 상수 c가 존재한다. 그러나 모든 실수 x에 대하여 f′(x)<0이므로 모순이다. 즉 t=−2
f(2)=−2에서 −58a+2b=−2
그러므로 4a+b=5 ⋯⋯ ㉡
f−1(2)=−2이므로 역함수의 미분법에 의하여
g′(2)=f′(2)−(f−1)′(2)=f′(2)−f′(−2)1
㉠에서 모든 실수 x에 대하여 f′(−x)=f′(x)이므로
f′(−2)=f′(2)이다.
즉 g′(2)=f′(2)−f′(2)1
h(x)=f(f(x))−x에서
h′(x)=f′(f(x))f′(x)−1이므로
h′(2)=f′(f(2))f′(2)−1=f′(−2)f′(2)−1={f′(2)}2−1
조건 (나)에서 g′(2)=−5h′(2)이므로
f′(2)−f′(2)1=−5{f′(2)}2+5
5{f′(2)}3+{f′(2)}2−5f′(2)−1=0
{5f′(2)+1}{f′(2)+1}{f′(2)−1}=0
f′(x)<0이므로
f′(2)=−51 또는 f′(2)=−1이다.
㉠에서
f′(2)=−(4+1)216a+4(3a−b)+b=−2528a−3b
(ⅰ) f′(2)=−51일 때, −2528a−3b=−51이므로
28a−3b=5 ⋯⋯ ㉢
㉡, ㉢을 연립하면 a=21, b=3 이다.
(ⅱ) f′(2)=−1일 때, −2528a−3b=−1이므로
28a−3b=25 ⋯⋯㉣
㉡, ㉣을 연립하면 a=1, b=1이므로 모순이다.
따라서 (ⅰ), (ⅱ)에 의하여
4(b−a)=4×(3−21)=10