함수 y=f(x)의 그래프의 대칭축은 직선 x=2이고 모든 실수 k에 대하여 −k2≤2≤3+k2이다.
(ⅰ) a<0인 경우 모든 실수 k에 대하여 f(−k2)<f(3+k2)<f(2)이므로 −k2≤x≤3+k2에서 함수 f(x)의 최댓값은 f(2)=b로 일정하여 조건을 만족시키지 않는다.
(ⅱ) a>0인 경우 모든 실수 k에 대하여 f(2)<f(3+k2)<f(−k2)이므로 −k2≤x≤3+k2에서 함수 f(x)의 최댓값은 f(−k2)이다.
f(−k2)=a(−k2−2)2+b=a(k2+2)2+b
=ak4+4ak2+4a+b
이고, 모든 실수 k에 대하여
ak4+4ak2+4a+b=3k4+12k2이 성립하므로
a=3, 4a+b=0에서 b=−12이다.
(ⅰ), (ⅱ)에서 a2+b2=9+144=153