(x+yy−xx+y)의 역행렬이 존재하지 않으므로
(x+y)2+xy=0 ⋯⋯㉠
복소수 z=(x+y−3)+xyi에서
z2=(x+y−3)2−(xy)2+2xy(x+y−3)i
z2이 음의 실수이므로
(x+y−3)2−(xy)2<0 ⋯⋯㉡
2xy(x+y−3)=0 ⋯⋯㉢
㉠,㉡,㉢에서 x+y=a,xy=b로 치환하면 a2+b=0,
(a−3)2−b2<0, 2(a−3)b=0
∴ {a=3b=−9, {a=0b=0
이 때, (a−3)2−b2<0을 만족하여야 하므로
{a=3b=−9
∴ xy=b=−9