행렬 A²B³=O

ㄱ. 만약 $AB$의 역행렬이 존재하면 $( AB ) ^{-1} = B ^{-1} A ^{-1}$이므로 행렬 $A$와 $B$의 역행렬이 모두 존재해야한다. 이때, $A ^{2} B ^{3} = O$의 양변의 앞쪽에 $( A ^{-1} ) ^{2}$를 뒤쪽에 $( B ^{-1} ) ^{3}$을 곱하면 좌변은 $( A ^{-1} ) ^{2} A ^{2} B ^{3} ( B ^{-1} ) ^{3} = E$ 우변은 $( A ^{-1} ) ^{2} O ( B ^{-1} ) ^{3} = O$ 이 되어 등식이 성립하지 않는다. 따라서 행렬 $AB$의 역행렬은 존재하지 않는다. (참) ㄴ. $\displaystyle A = \begin{pmatrix} {0} & {1} \\ {1} & {0} \end{pmatrix}$, $B$$\displaystyle = \begin{pmatrix} {0} & {1} \\ {0} & {0} \end{pmatrix}$이라 하면 $A$의 역행렬은 존재하고 $B ^{2} = O$이므로 $A ^{2} B ^{3} = O$을 만족하지만 $AB$$\displaystyle = \begin{pmatrix} {0} & {0} \\ {0} & {1} \end{pmatrix}$, $\displaystyle BA = \begin{pmatrix} {1} & {0} \\ {0} & {0} \end{pmatrix}$로 $AB \ne BA$이다. (거짓) [참고] $B \ne O$이고 $B ^{n} = O$ ($n \geq 3$)이면 $B ^{-1}$이 존재하지 않으므로 행렬 $B$는 $B ^{2} = k B$꼴로 나타낼 수 있다. (∵ 케일리해밀턴정리) 이때, $B ^{n} = k B ^{n-1} = k ^{2} B ^{n-2} = \cdots = k ^{n-1} B$이므로 $B ^{n} = O$에서 $k = 0$이다. ∴ $B ^{2} = kB = O$이다.

ㄷ. $2 A - B = E$이면 $B = 2 A - E$에서 $AB = A ( 2 A - E ) = 2 A ^{2} - A$ $BA = ( 2 A - E ) A = 2 A ^{2} - E$ 이므로 $AB = BA$이다. ∴ $( AB ) ^{2012}$$= A ^{2012} B ^{2012}$$= A ^{2010} ( A ^{2} B ^{3} ) B ^{2009}$$= O$ (참) [참고] 행렬 $B$가 행렬 $A$에 대한 다항식꼴로 나타내어질 때, $AB = BA$가 성립한다. 예) $B = A ^{2} - A + E$이면 $AB = A ( A ^{2} - A + E )$$= A ^{3} - A ^{2} + A$ $BA = ( A ^{2} - A + E ) A$$= A ^{3} - A ^{2} + A$ 이므로 $AB = BA$