이차방정식의 근과 계수의 관계에 의해
α+β=35, αβ=3k이다.
(3α−k)(α−1)+(3β−k)(β−1)
=3α2−(k+3)α+k+3β2−(k+3)β+k
=3(α2+β2)−(k+3)(α+β)+2k
=3{(α+β)2−2αβ}−(k+3)(α+β)+2k
=325−2k−35(3+k)+2k
=−10
5k=40이다.
따라서 k=8이다.
[다른 풀이]
이차방정식의 근과 계수의 관계에 의해 α+β=35이다.
3α2+k=5α, 3β2+k=5β이므로
(3α−k)(α−1)+(3β−k)(β−1)
=3α2−(k+3)α+k+3β2−(k+3)β+k
=3α2+k−(k+3)α+3β2+k−(k+3)β
=5α−(k+3)α+5β−(k+3)β
=5(α+β)−(k+3)(α+β)
=(α+β)(2−k)
=35(2−k)
=−10
이고 2−k=−6이다.
따라서 k=8이다.