特征值和特征向量在机器学习中有着很重要的应用，本文介绍一些相关的结论和证明，方便大家复习参考。

定义

特征向量与特征值

定义：对方阵$A$，若存在$\lambda$和非零向量$x$，满足$Ax = \lambda x$，则称$\lambda$为矩阵$A$的特征值（eigenvalue），$x$为$A$属于特征值$\lambda$的特征向量（eigenvector）

$Ax= \lambda x \Rightarrow (A - \lambda I )x = 0$

因此，我们可以认为满足这个方程的$x \in N(A- \lambda I)$，也就是说，$x$属于这个零空间。

我们知道，对于任意的$\lambda$，向量$x$总满足$Ax= \lambda x$，但我们关心的是由非零向量$x$满足此方程的特殊的$\lambda$值。

因此， 不难得到以下推论：

$N(A -\lambda I)$ 含非零向量 $\Leftrightarrow A - \lambda$不可逆 $\Leftrightarrow det(A- \lambda I ) = 0$

特征方程

我们记$det(A- \lambda I ) = 0$为矩阵$A$的特征方程（characteristic equation），$A$的特征值就是特征方程的解。

从直观理解上看，由于矩阵的乘法实际上是对向量进行坐标旋转变换，而$Ax = \lambda x$表示了一种特殊的向量，它使得左乘$A$后的向量依然与$x$共线。

求解方法

1. 计算特征多项式$det(A- \lambda I )$。
2. 求特征方程$det(A- \lambda I ) = 0$的解，即为特征值。
3. 对每个特征值$\lambda$，求解其次线性方程组$(A- \lambda I )x = 0$，其所有非零解即为属于$\lambda$的所有特征向量。

性质

1. 矩阵$A$不可逆$\Leftrightarrow A$有零特征值。

2. 实对称矩阵的特征向量两两正交。

   • $Ax_1 = \lambda _1x_1 \quad Ax_2 = \lambda _2x_2$

   • $x_2^TA x_1 = \lambda _1 x_2^Tx_1 \Rightarrow (Ax_2)^Tx_1 = \lambda _1 x_2^Tx_1$

   • $\lambda _2 x_2^T x_1 = \lambda _1 x_2^T x_1$

   • $(\lambda _1 - \lambda_2) x_2^T x_1 = 0 \Rightarrow x_2^T x_1 = 0$

3. 投影矩阵的特征值为0和1。

   • $P$是到子空间$V \subset R^n$的投影矩阵，其中$p = Pb ,b \in V$

   • 若$b\in V$，则$Pb = b$

   • 若$b \perp V$，则$Pb = 0$

4. 反射矩阵$R = I - 2uu^T$的特征值是1和-1。

   • 若$v \perp u$，则$Rv = v$

   • 若$v // u$，则$Rv = -v$

5. 上（下）三角矩阵的特征值为所有的对角元。

6. Markov矩阵A一定有特征值1（且为最大特征值）。

   • 由于Markov矩阵的列项之和为1，那么每一列减去1，列项之和就变成0，一次你各行之间线性相关。即 $(A - I)^T\begin{pmatrix}1 \\\\ 1\\\\ ...\\\\1 \end{pmatrix} = 0$
   • 因此$\lambda = 1$。

7. 由代数学基本定理，任何复系数一元n次多项式方程在复数域上至少有一根(n≥1)，由此推出，n次复系数多项式方程在复数域内有且只有n个根（重根按重数计算），并且，虚根一定成对出现。

8. 若$\lambda$是矩阵$A$的特征值，则$\lambda ^2$是$A^2$的特征值，$\lambda + m$是$A + mI$的特征值。

9. 设$p(x)$是关于$x$的多项式函数，则$p(\lambda)$是矩阵$p(A)$的一个特征值。

10. 若$A$可逆，则$\frac{1}{\lambda}$为$A^{-1}$的一个特征值。

    • $Ax = \lambda x \Rightarrow x = A^{-1}Ax = A^{-1}\lambda x = \lambda A^{-1}x$

    • $A^{-1}x = \frac{1}{\lambda} x$

11. 设$n$阶矩阵$A = (a_{ij})$有$n$个特征值，可能重复，则

    • $\lambda _1 + ...+ \lambda_n = a_{11} + a_{22} + ... + a{nn} = tr A$

    • $\lambda_1 ...\lambda_n = det(A)$

12. 矩阵互异特征值对应的特征向量线性无关。

13. 当$A$的所有特征值均小于1时，$E-A$可逆。

参考资料

1. 马尔科夫矩阵 矩阵的特征值和特征向量
2. 行列式的本质