함수 f(x)의 역함수 f−1(x)가 존재하므로 f(x)는 증가함수이거나 감소함수이다.
(ⅰ) f(x)가 증가함수일 때
f(x)가 증가함수이므로 두 곡선 y=f(x)와 y=f−1(x)의 교점은 y=x 위에만 존재한다.
따라서 f(−1)=−1,f(1)=1,f(2)=2이 성립한다.
주어진 조건에 대입하면
f(1)=c+25=1에서 c=−23이고 f(2)=4c+5=2에서
c=−43이므로 모순이다.
(ⅱ) f(x)가 감소함수일 때
f(x)가 감소함수이므로 곡선 y=f(x)는 y=x와 한 점에서 만나고, y=f−1(x)와 두 점에서 만난다.
두 곡선 y=f(x)와 y=f−1(x)의 두 교점은 y=x에 대하여 대칭이므로
y=f(x)는 y=x와 x=1에서 만나고, y=f−1(x)와 x=−1,2에서 만난다.
따라서 세 교점의 좌표는 (−1,2),(1,1),(2,−1)가 된다.
이를 주어진 조건에 대입하면
f(−1)=−a+b=2,f(1)=a+b=c+25=1,f(2)=4c+5=−1
이다.
위의 연립방정식을 풀면
a=−21,b=23,c=−23을 얻을 수 있다.
∴2a+4b−10c=−1+6+15=20