먼저, 두 실수 a와 b가 0이 아니라는 문제의 조건에 주목하여 보기의 내용을 하나씩 검증한다.
ㄱ. A−B=(1a01)−(10b1)=(0a−b0)
(A−B)2=(0a−b0)(0a−b0)=(−ab00−ab)=−abE
따라서, ㄱ은 (거짓)
ㄴ. 두 실수 a와 b가 0이 아니므로,
주어진 행렬 A=(1a01)에서, 케일리-해밀턴 정리를 적용하면,
A2−2A+E=O이 된다.
따라서, 2A−A2=A(2E−A)=E
그러므로, A−1=2E−A
따라서, ㄴ은 (참)
ㄷ. ㄴ으로부터, A+A−1=2E가 된다.
역시 두 실수 a와 b가 0이 아니므로, 주어진 행렬 B=(10b1)에서, 케일리-해밀턴 정리를 적용하면,
B2−2B+E=O이 된다.
B(2E−B)=E이므로,
B−1=2E−B가 되어,
ㄴ에서 확인한 것과 마찬가지로, B+B−1=2E
∴ A+A−1=B+B−1=2E (참)