h(x)={ln(∣x∣+p)}2라 하자.
h(x)={{ln(−x+p)}2{ln(x+p)}2(x<0)(x≥0)
이므로
x→0−limx−0h(x)−h(0)
=x→0−limx{ln(−x+p)}2−(lnp)2
=x→0−limxln(1−px)×{ln(−x+p)+lnp}
=−p1×2lnp
x→0+limx−0h(x)−h(0)
=x→0+limx{ln(x+p)}2−(lnp)2
=x→0+limxln(1+px)×{ln(x+p)+lnp}
=p1×2lnp
따라서 p=1이면 함수 h(x)가 x=0에서 미분가능하지 않다.
삼차함수 f(x)가 최고차항의 계수가 1이므로 어떤 실수 a에 대하여 f(a)=0, f′(a)>0이다. 함수 g(x)=h(f(x))가 실수 전체의 집합에서 미분가능하므로 x=a에서 미분가능하다.

어떤 실수 d에 대하여 a−d<x<a이면 f(x)<0, a<x<a+d이면 f(x)>0이다.
따라서 x→alimx−ag(x)−g(a)에서 f(x)=t라 하면
x→a−limx−ag(x)−g(a)
=t→0−limt−0h(t)−h(0)×x→a−limx−af(x)−f(a)=−p2lnp×f′(a)
x→a+limx−ag(x)−g(a)
=t→0+limt−0h(t)−h(0)×x→a+limx−af(x)−f(a)=p2lnp×f′(a)
−p2lnp×f′(a)=p2lnp×f′(a)이고 f′(a)=0이므로
lnp=0, p=1
h(x)={ln(∣x∣+1)}2={{ln(−x+1)}2{ln(x+1)}2(x<0)(x≥0)
h′(x)={x−12ln(1−x)x+12ln(1+x)(x<0)(x≥0)
따라서 함수 h(x)는 x<0에서 감소하고 x>0에서 증가한다.
미분가능한 함수 g(x)가 x=2에서 극대이므로 g′(2)=0
g′(x)=h′(f(x))f′(x)이므로 h′(f(2))=0 또는 f′(2)=0
방정식 h′(x)=0의 실근이 x=0뿐이므로
f(2)=0 또는 f′(2)=0
이때 f(2)=0이면 g(2)=h(f(2))=0이고 g(x)≥0이므로 함수 g(x)는 x=2에서 최솟값을 가진다. 이는 함수 g(x)가 x=2에서 극대라는 조건과 모순이다.
따라서 f′(2)=0이고 f(2)=0이다.
f(x)=(x−2)2(x−k)+f(2) (k는 2가 아닌 실수)
f′(x)=(x−2)(3x−2k−2), f′′(x)=2(3x−k−4)
f(2)=0이므로
g′′(2)=h′′(f(2)){f′(2)}2+h′(f(2))f′′(2)=h′(f(2))f′′(2)
이고 f′′(2)=2(2−k)=0이므로 g′′(2)=0
함수 g(x)가 x=2에서 극대이므로 g′′(2)<0
따라서 k<2이면 f′′(2)>0, h′(f(2))<0이므로 f(2)<0
k>2이면 f′′(2)<0, h′(f(2))>0이므로 f(2)>0
(ⅰ) k<2, f(2)<0일 때 방정식 f′(x)=0의 실근은 x=2 또는 x=32k+2
k<2이므로 32k+2<2
방정식 g′(x)=0이 서로 다른 세 실근을 가지므로 h′(f(x))×f′(x)=0을 만족시키는 실수 x의 개수는 3이다. 즉, f(x)=0 또는 f′(x)=0을 만족시키는 실수 x의 개수가 3이므로 다음 그림과 같이 함수 f(x)의 극댓값은 0보다 작거나 같다.

방정식 f(x)=0의 실근 중 2보다 큰 근을 α라 하면 방정식 g′(x)=0의 세 실근은 크기순으로 32k+2, 2, α이고, 이 순서대로 공비가 2인 등비수열을 이루므로 α=4이고 32k+2=1, k=21
f(x)=(x−21)(x−2)2+f(2)이고 f(4)=0이므로
f(2)=−14
이때 g(p)=g(1)=h(f(1))=h(−227)=0이다.
(ⅱ) k>2, f(2)>0일 때 방정식 f′(x)=0의 실근은 x=2 또는 x=32k+2
k>2이므로 32k+2>2
방정식 g′(x)=0이 서로 다른 세 실근을 가지므로 h′(f(x))×f′(x)=0을 만족시키는 실수 x의 개수는 3이다. 즉, f(x)=0 또는 f′(x)=0을 만족시키는 실수 x의 개수가 3이므로 다음 그림과 같이 함수 f(x)의 극솟값은 0보다 크거나 같다.
:
방정식 f(x)=0의 실근 중 2보다 작은 근을 α라 하면 방정식 g′(x)=0의 세 실근은 크기순으로 α, 2, 32k+2이고, 이 순서대로 공비가 2인 등비수열을 이루므로 α=1이고 32k+2=4, k=5
이때 f(1)=0이므로 g(p)=g(1)=h(f(1))=0
(ⅰ), (ⅱ)에서 f(x)=(x−21)(x−2)2−14이므로
f(p+5)=f(6)=211×42−14=74
[참고]
최고차항의 계수가 양수인 삼차함수 f(x)는 어떤 실수 α에 대하여 f(α)=0이다.
따라서 f(x)=(x−α)g(x)를 만족시키는 이차다항식 g(x)가 존재한다.
만약 f′(α)=0이면 g(α)=0이므로 g(x)=A(x−α)(x−β) (A는 양수)를 만족시키는 어떤 실수 β가 존재한다.
이때 β=α이면 g(x)=A(x−α)2, f(x)=A(x−α)3이므로 삼차함수 f(x)가 극값을 가진다는 조건과 모순이다.
따라서 β=α이고 f(x)=A(x−α)2(x−β)이며, f(β)=0, f′(β)=A(β−α)2>0이다.
따라서 삼차함수 f(x)가 극값을 가지면 어떤 실수 x에 대하여 f(x)=0, f′(x)>0이다.