上一讲我们学习了最小二乘法，主要就是求解$A^TAx = A^Tb$这个方程，我们能不能想办法使得这个方程越简单越好呢？。

引言

如果矩阵的列向量互相正交，若长度都为一，则称为标准正交阵，若满秩，即$Q$为方阵，那么我们称这个矩阵为正交矩阵（orthogonal matrix）。标准正交阵有很多很好的性质：

• $Q^TQ=I$，不要求$Q$为方阵

• 如果$Q$为方阵，则$Q^T = Q^{-1}$。

• $Qx$是保持长度的变换

  $||Qx||^2 =(Qx)^T(Qx) = x^TQ^TQx = x^Tx = ||x||^2$

• $Q$不改变向量点积。

  $Qx\times Qy = (Qx)^TQy=x^TQ^TQy = x^Ty$

反射矩阵

设$u$是一列向量，$u^Tu = 1$。

令$Q = I_n - 2uu^T, u\in R^n$。$Q$为一个反射矩阵(refection matrix)。

$Q^T = I - 2uu^T = Q, \space Q^TQ = I - 4uu^T + 4uu^T = I$

$Qu = u - 2uu^Tu = -u$

可以感性地认为$u$在$Q$上“没有动”，类似于镜面。

投影与正交

在上一讲中，我们推导了向量投影的公式，里面有$A^TA$的形式，如果用$Q$来代替$A$，那么可以重新推导结论：

• 投影矩阵$P = Q(Q^TQ)^{-1}Q^T = QQ^T$
• 投影向量$p = Pb=QQ^Tb$

我们可以进一步仔细观察投影向量：

$p = QQ^Tb = \begin{bmatrix}q_1 &... &q_n \end{bmatrix} \begin{bmatrix}q_1^T \\\\...\\\\ q_n^T \end{bmatrix}b = \begin{bmatrix}q_1 &... &q_n \end{bmatrix}\begin{bmatrix}q_1^Tb \\\\...\\\\ q_n^Tb \end{bmatrix} = \sum \limits _{i=1}^{n}(q_iq^T_i)b$

可以发现，其实向量$b$到矩阵$C(A)$的投影，本质上可以分为$b$到每个正交向量$q_i$的投影之和。

这是一个十分优美和谐的关系，投影之后彼此之间依然是正交，没有任何冗余。

Gram Schmidt正交化

由此我们想到，标准正交阵有这么好的形式，而每个子空间都有无数个基，那么是不是可以将每个基都表示称标准正交基的形式呢？理论上当然可以，但如何进行变换呢？Gram Schmidt正交化是一种很好的迭代方法。

直接先给出定理：

设$\alpha _1,\alpha_2,...,\alpha_k$相互正交，$v\in L\{\alpha _1,\alpha_2,...,\alpha_k \}$,则：

$v =\frac{\alpha_1^Tv}{\alpha_1^T\alpha_1}\alpha_1+...+\frac{\alpha_k^Tv}{\alpha_k^T\alpha_k}\alpha_k$

特别的，若$\alpha _1,\alpha_2,...,\alpha_k$标准正交，则：

$v =(\alpha_1^Tv)\alpha_1+...+(\alpha_k^Tv)\alpha_k$

就相当于把$v$投影到$L\{\alpha _1,\alpha_2,...,\alpha_k \}$这个子空间中，等于分解到每个正交向量的投影之和。

可以利用这个定理，很容易的求出正交向量，这里给出另一种方法，可以边正交化边标准化。

设$e_i$为误差向量，$v_i$为原始向量，$q_i$即为所求

$e_1 = v_1 = w_1,q_1 = \frac{v_1}{||v_1||}$

$e_2 = v_2 - (q_1^Tv_2)q_1 = w_2,q_2 = \frac{w_2}{||w_2||}$

$e_k = v_k - (q_1^Tv_k)q_1 - ... - (q^T_{k_1}v_k)q_{k-1}= w_k,q_k = \frac{v_k}{||v_k||}$

QR分解

通过Gram Schmidt正交化，我们知道任何子空间的基$A$都可以转化为标准正交基$Q$，那会很自然的想到，$A$和$Q$之间到底有什么样的关系呢？其实关系已经蕴含在Gram Schmidt的定理中了：

$a_1=(q_1^T a_1)q_1$

$a_2=(q_1^T a_2)q_1 + (q_2^Ta_2)q_2$

$a_3=(q_1^T a_3)q_1 + (q_2^Ta_3)q_2+(q_2^Ta_3)q_3$

$a_n=(q_1^T a_n)q_1 + (q_2^Ta_n)q_2+...+(q^T_na_n)q_n$

总结为矩阵形式：

$A = \begin{bmatrix}a1 &a_2 & ... & a_n\end{bmatrix} = \begin{bmatrix}q_1 &q_2 & ... & q_n\end{bmatrix}\begin{bmatrix} q_1 ^T a_1& q_1^Ta_2 &... &q_1^Ta_n \\\\ 0 &q_2^Ta_2 & ... & q_2^Ta_n\\\\ ... & ... &... & ...\\\\ 0 &0 & ... & q_n^Ta_n\end{bmatrix}$

$Q =\begin{bmatrix}q_1 &q_2 & ... & q_n\end{bmatrix},\space \space R = \begin{bmatrix}q_1^T a_1& q_1^Ta_2 &... &q_1^Ta_n \\\\ 0 &q_2^Ta_2 & ... & q_2^Ta_n\\\ ... & ... &... & ...\\\\ 0 &0 & ... & q_n^Ta_n\end{bmatrix}$

应用

• 若$A,B$都是正交矩阵，则$AB$也是正交矩阵

  $A^TA = E \space \space B^TB=E$

  $(AB)^TAB = B^TA^TAB = B^TEB =E$

• 若$A$是可逆方阵，则$QR$分解是唯一的。

• 若$A_{m\times n}$列满秩，有QR分解$A = QR$，$b \notin C(A)$，设$b$在$C(A)$上的投影为$p,e= b-p$，则$(A,b)$也是列满秩，其QR分解为：

  $(A,b) = (Q,\frac {e}{||e||})\begin{pmatrix} R& \alpha \\\\ 0 & ||e||\end{pmatrix}, \alpha = Q^Tb$