조건 (가)에 의하여 다항식 f(x)는 계수와 상수항이 모두 실수인 일차식을 인수로 갖지 않으므로 계수와 상수항이 모두 실수인 삼차식도 인수로 갖지 않는다. 조건 (나)에서 h(x)를 g(x)로 나눈 나머지가 일차식이므로 g(x)는 차수가 2 이상인 다항식이고 h(x)는 차수가 1 이상인 다항식이다.
두 다항식 g(x)와 h(x)는 다항식 f(x)의 인수이므로, 두 다항식 g(x)와 h(x)의 차수는 2 또는 4이다.
다항식 h(x)의 최고차항의 계수가 1이므로 다항식 h(x)의 차수가 4이면 h(x)=f(x)이다. 그러므로 조건 (나)를 만족시키지 않는다.
따라서 다항식 h(x)의 차수는 2이다.
다항식 g(x)의 차수가 4이면, 다항식 h(x)를 g(x)로 나눈 나머지가 h(x)이므로, 조건 (나)를 만족시키지 않는다.
따라서 두 다항식 g(x)와 h(x)는 각각 최고차항의 계수가 1인 이차식이고, 조건 (나)에 의하여 h(x)=g(x)−4x−1이다.
그러므로 g(x)=h(x)이고 복소수 k에 대하여 g(x)와 h(x)가 일차식 x−k를 공통인수로 가지면 g(k)=h(k)=0이고
h(k)=g(k)−4k−1에서 k=−11이다. 이때 x=−41은 방정식 f(x)=0의 실근이 되어 조건 (가)를 만족시키지 않는다. 따라서 g(x)와 h(x)는 차수가 1 이상인 다항식을 공통인수로 갖지 않고 f(x)=g(x)h(x)이다.
g(x)=x2+px+q라 하자. (단, p, q는 실수)
h(x)=g(x)−4x−1=x2+px−4x+q−1
f(x)=g(x)h(x)에서
x4+(a+2)x3+bx2+ax+6=(x2+px+q)(x2+px−4x+q−1)
양변의 상수항을 비교하면
6=q2−q에서 q2−q−6=(q+2)(q−3)=0
q=−2 또는 q=3
그런데 q=−2이면 이차방정식
g(x)=x2+px−2=0의 판별식을 D라 할 때,
D=p2+8≥0이므로 g(x)=0은 실근을 갖고, 방정식
f(x)=g(x)h(x)=0은 실근을 갖게 되어 조건 (가)를 만족시키지 않는다.
따라서 q=3이고
g(x)=x2+px+3, h(x)=x2+px−4x+2
f(x)=g(x)h(x)=(x2+px+3)(x2+px−4x+2)에서
x4+(a+2)x3+bx2+ax+6=x4+(2p−4)x3+(p2−4p+5)x2+(5p−12)x+6
양변의 계수를 비교하면
2p−4=a+2, 5p−12=a
2p−6=5p−12에서 p=2이고
g(x)=x2+2x+3, h(x)=x2−2x+2이다.
이차방정식 g(x)=x2+2x+3=0의 판별식을 D1이라 할 때, 4D1=12−3=−2<0이므로 이차방정식 g(x)=0은 실근을 갖지 않는다.
이차방정식 h(x)=x2−2x+2=0의 판별식을 D2라 할 때,
4D2=(−1)2−2=−1<0이므로 이차방정식 h(x)=0은 실근을 갖지 않는다.
그러므로 방정식 f(x)=g(x)h(x)=0은 실근을 갖지않고, 두 다항식 g(x)=x2+2x+3, h(x)=x2−2x+2는 조건을 만족시킨다.
따라서 a=5p−12=−2, b=p2−4p+5=1
a2+b2=(−2)2+12=5