首先,初等矩阵都可逆,其次,初等矩阵的逆矩阵其实是一个同类型的初等矩阵(可看作逆变换)。例如,交换矩阵中某两行(列)的位置;用一个非零常数k乘以矩阵的某一行(列);将矩阵的某一行(列)乘以常数k后加到另一行(列)上去。若某初等矩阵左乘矩阵A,则初等矩阵会将原先施加到单位矩阵E上的变换,按照同种形式施加到矩阵A之上。或者说,想对矩阵A做变换,但是不是直接对矩阵A去做处理,而是通过一种间接方式去实现。
初等行变换不影响线性方程组的解,也可用于高斯消元法,用于逐渐将系数矩阵化为标准形。初等行变换不改变矩阵的核(故不改变解集),但改变了矩阵的像。反过来,初等列变换没有改变像却改变了核。