标准正交矩阵

定义标准正交向量（orthonormal）：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$

我们将标准正交向量放入矩阵中，有$Q=[q_1{q}_2\cdots q_n]$。

上一讲我们研究了$A^A$的特性，现在来观察$Q^{T}Q=\left[\begin{array}{ccc}& q_1^T& \\ & q_2^T& \\ & ⋮& \\ & q_n^T& \end{array}\right][q_1{q}_2\cdots q_n]$

根据标准正交向量的定义，计算$Q^{T}Q=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]=I$，我们也把$Q$成为标准正交矩阵（orthonormal matrix）。

特别的，当$Q$恰好是方阵时，由于正交性，易得$Q$是可逆的，又$Q^{T}Q=I$，所以$Q^T=Q^{-1}$。

• 举个置换矩阵的例子：$Q=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$，则$Q^T=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$，易得$Q^{T}Q=I$。
• 使用上一讲的例子$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$，列向量长度为$1$，且列向量相互正交。
• 其他例子$Q=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$，列向量长度为$1$，且列向量相互正交。
• 使用上一个例子的矩阵，令$Q^{\prime }=c\left[\begin{array}{cc}Q& Q\\ Q& -Q\end{array}\right]$，取合适的$c$另列向量长度为$1$也可以构造标准正交矩阵：$Q=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$，这种构造方法以阿德玛（Adhemar）命名，对$2,4,16,64,\cdots$阶矩阵有效。
• 再来看一个例子，$Q=\frac{1}{3}\left[\begin{array}{ccc}1& -2& 2\\ 2& -1& -2\\ 2& 2& 1\end{array}\right]$，列向量长度为$1$，且列向量相互正交。格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。

再来看标准正交化有什么好处，假设要做投影，将向量$b$投影在标准正交矩阵$Q$的列空间中，根据上一讲的公式得$P=Q(Q^{T}Q{)}^{-1}{Q}^T$，易得$P=Q{Q}^T$。我们断言，当列向量为标准正交基时，$Q{Q}^T$是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时$Q{Q}^T=I$。可以验证一下投影矩阵的两个性质：$(Q{Q}^T{)}^T=(Q^T{)}^T{Q}^T=Q{Q}^T$，得证；$(Q{Q}^T{)}^2=Q{Q}^{T}Q{Q}^T=Q(Q^{T}Q)Q^T=Q{Q}^T$，得证。

我们计算的$A^{T}A\hat{x}=A^{T}b$，现在变为$Q^{T}Q\hat{x}=Q^{T}b$，也就是$\hat{x}=Q^{T}b$，分解开来看就是 $\underset{―}{{\hat{x}}_i=q_i^{T}b}$，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第$i$个分量为基的第$i$个分量乘以$b$，在第$i$个基方向上的投影就等于$q_i^{T}b$。

Gram-Schmidt正交化法

我们有两个线性无关的向量$a,b$，先把它们化为正交向量$A,B$，再将它们单位化，变为单位正交向量$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert }$：

• 我们取定$a$向量的方向，$a=A$；
• 接下来将$b$投影在$A$的法方向上得到$B$，也就是求子空间投影一讲中，我们提到的误差向量$e=b-p$，即$B=b-\frac{A^{T}b}{A^{T}A}A$。检验一下$A\mathrm{\perp }B$，$A^{T}B=A^{T}b-A^T\frac{A^{T}b}{A^{T}A}A=A^{T}b-\frac{A^{T}A}{A^{T}A}{A}^{T}b=0$。（$\frac{A^{T}b}{A^{T}A}A$就是$A\hat{x}=p$。）

如果我们有三个线性无关的向量$a,b,c$，则我们现需要求它们的正交向量$A,B,C$，再将它们单位化，变为单位正交向量$q_1=\frac{A}{\Vert A\Vert },q_2=\frac{B}{\Vert B\Vert },q_3=\frac{C}{\Vert C\Vert }$：

• 前两个向量我们已经得到了，我们现在需要求第三个向量同时正交于$A,B$；
• 我们依然沿用上面的方法，从$c$中减去其在$A,B$上的分量，得到正交与$A,B$的$C$：$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$。

现在我们试验一下推导出来的公式，$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],b=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$：

• 则$A=a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$；
• 根据公式有$B=a-hA$，$h$是比值$\frac{A^{T}b}{A^{T}A}=\frac{3}{3}$，则$B=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\frac{3}{3}\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]=\left[\begin{array}{c}0\\ -1\\ 1\end{array}\right]$。验证一下正交性有$A\cdot B=0$。
• 单位化，$q_1=\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],q_2=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$，则标准正交矩阵为$Q=\left[\begin{array}{cc}\frac{1}{\sqrt{3}}& 0\\ \frac{1}{\sqrt{3}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{2}}\end{array}\right]$，对比原来的矩阵$D=\left[\begin{array}{cc}1& 1\\ 1& 0\\ 1& 2\end{array}\right]$，有$D,Q$的列空间是相同的，我们只是将原来的基标准正交化了。

我们曾经用矩阵的眼光审视消元法，有$A=LU$。同样的，我们也用矩阵表达标准正交化，$A=QR$。设矩阵$A$有两个列向量$[a_1{a}_2]$，则标准正交化后有$[a_1{a}_2]=[q_1{q}_2]\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ a_1^T{q}_2& a_2^T{q}_2\end{array}\right]$，而左下角的$a_1^T{q}_2$始终为$0$，因为Gram-Schmidt正交化总是使得$a_1\mathrm{\perp }{q}_2$，后来构造的向量总是正交于先前的向量。所以这个$R$矩阵是一个上三角矩阵。