对角化矩阵

上一讲我们提到关键方程$Ax=\lambda x$，通过$det(A-\lambda I)=0$得到特征向量$\lambda$，再带回关键方程算出特征向量$x$。

在得到特征值与特征向量后，该如何使用它们？我们可以利用特征向量来对角化给定矩阵。

有矩阵$A$，它的特征向量为$x_1,x_2,\cdots ,x_n$，使用特征向量作为列向量组成一个矩阵$S=[x_1{x}_2\cdots x_n]$，即特征向量矩阵， 再使用公式$$S^{-1}AS=\Lambda\tag{1}$$将$A$对角化。注意到公式中有$S^{-1}$，也就是说特征向量矩阵$S$必须是可逆的，于是我们需要$n$个线性无关的特征向量。

现在，假设$A$有$n$个线性无关的特征向量，将它们按列组成特征向量矩阵$S$，则$AS=A[x_1{x}_2\cdots x_n]$，当我们分开做矩阵与每一列相乘的运算时，易看出$A{x}_1$就是矩阵与自己的特征向量相乘，其结果应该等于${\lambda }_1{x}_1$。那么$AS=[({\lambda }_1{x}_1)({\lambda }_2{x}_2)\cdots ({\lambda }_n{x}_n)]$。可以进一步化简原式，使用右乘向量按列操作矩阵的方法，将特征值从矩阵中提出来，得到$[x_1{x}_2\cdots x_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]=S\mathrm{\Lambda }$。

于是我们看到，从$AS$出发，得到了$S\mathrm{\Lambda }$，特征向量矩阵又一次出现了，后面接着的是一个对角矩阵，即特征值矩阵。这样，再继续左乘$S^{-1}$就得到了公式$(1)$。当然，所以运算的前提条件是特征向量矩阵$S$可逆，即矩阵$A$有$n$个线性无关的特征向量。这个式子还要另一种写法，$A=S\mathrm{\Lambda }{S}^{-1}$。

我们来看如何应用这个公式，比如说要计算$A^2$。

• 先从$Ax=\lambda x$开始，如果两边同乘以$A$，有$A^{2}x=\lambda Ax={\lambda }^{2}x$，于是得出结论，对于矩阵$A^2$，其特征值也会取平方，而特征向量不变。
• 再从$A=S\mathrm{\Lambda }{S}^{-1}$开始推导，则有$A^2=S\mathrm{\Lambda }{S}^{-1}S\mathrm{\Lambda }{S}^{-1}=S{\mathrm{\Lambda }}^2{S}^{-1}$。同样得到特征值取平方，特征向量不变。

两种方法描述的是同一个现象，即对于矩阵幂运算$A^2$，其特征向量不变，而特征值做同样的幂运算。对角矩阵${\mathrm{\Lambda }}^2=\left[\begin{array}{cccc}{\lambda }_1^2& 0& \cdots & 0\\ 0& {\lambda }_2^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n^2\end{array}\right]$。

特征值和特征向量给我们了一个深入理解矩阵幂运算的方法，$A^k=S{\mathrm{\Lambda }}^k{S}^{-1}$。

再来看一个矩阵幂运算的应用：如果$k\to \mathrm{\infty }$，则$A^k\to 0$（趋于稳定）的条件是什么？从$S{\mathrm{\Lambda }}^k{S}^{-1}$易得，$|{\lambda }_i|<1$。再次强调，所有运算的前提是矩阵$A$存在$n$个线性无关的特征向量。如果没有$n$个线性无关的特征向量，则矩阵就不能对角化。

关于矩阵可对角化的条件：

• 如果一个矩阵有$n$个互不相同的特征值（即没有重复的特征值），则该矩阵具有$n$个线性无关的特征向量，因此该矩阵可对角化。

• 如果一个矩阵的特征值存在重复值，则该矩阵可能具有$n$个线性无关的特征向量。比如取$10$阶单位矩阵，$I_{10}$具有$10$个相同的特征值$1$，但是单位矩阵的特征向量并不短缺，每个向量都可以作为单位矩阵的特征向量，我们很容易得到$10$个线性无关的特征向量。当然这里例子中的$I_{10}$的本来就是对角矩阵，它的特征值直接写在矩阵中，即对角线元素。

  同样的，如果是三角矩阵，特征值也写在对角线上，但是这种情况我们可能会遇到麻烦。矩阵$A=\left[\begin{array}{cc}2& 1\\ 0& 2\end{array}\right]$，计算行列式值$det(A-\lambda I)=\left|\begin{array}{cc}2-\lambda & 1\\ 0& 2-\lambda \end{array}\right|=(2-\lambda {)}^2=0$，所以特征值为${\lambda }_1={\lambda }_2=2$，带回$Ax=\lambda x$得到计算$\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$的零空间，我们发现$x_1=x_2=\left[\begin{array}{c}1\\ 0\end{array}\right]$，代数重度（algebraic multiplicity，计算特征值重复次数时，就用代数重度，就是它作为多项式根的次数，这里的多项式就是$(2-\lambda {)}^2$）为$2$，这个矩阵无法对角化。这就是上一讲的退化矩阵。

我们不打算深入研究有重复特征值的情形。

求$u_{k+1}=A{u}_k$

从$u_1=A{u}_0$开始，$u_2=A^2{u}_0$，所有$u_k=A^k{u}_0$。下一讲涉及微分方程（differential equation），会有求导的内容，本讲先引入简单的差分方程（difference equation）。本例是一个一阶差分方程组（first order system）。

要解此方程，需要将$u_0$展开为矩阵$A$特征向量的线性组合，即$u_0=c_1{x}_1+c_2{x}_2+\cdots +c_n{x}_n=[x_1{x}_2\cdots x_n]\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]=Sc$。于是$A{u}_0=c_{1}A{x}_1+c_{2}A{x}_2+\cdots +c_{n}A{x}_n=c_1{\lambda }_1{x}_1+c_2{\lambda }_2{x}_2+\cdots +c_n{\lambda }_n{x}_n$。继续化简原式，$A{u}_0=[x_1{x}_2\cdots x_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]=S\mathrm{\Lambda }c$。用矩阵的方式同样可以得到该式：$A{u}_0=S\mathrm{\Lambda }{S}^{-1}{u}_0=S\mathrm{\Lambda }{S}^{-1}Sc=S\mathrm{\Lambda }c$。

那么如果我们要求$A^{100}{u}_0$，则只需要将$\lambda$变为${\lambda }^{100}$，而系数$c$与特征向量$x$均不变。

当我们真的要计算$A^{100}{u}_0$时，就可以使用$S{\mathrm{\Lambda }}^{100}c=c_1{\lambda }_1^{100}{x}_1+c_2{\lambda }_2^{100}{x}_2+\cdots +c_n{\lambda }_n^{100}{x}_n$。

接下来看一个斐波那契数列（Fibonacci sequence）的例子：

$0,1,1,2,3,5,8,13,\cdots ,F_{100}=?$，我们要求第一百项的公式，并观察这个数列是如何增长的。可以想象这个数列并不是稳定数列，因此无论如何该矩阵的特征值并不都小于一，这样才能保持增长。而他的增长速度，则有特征值来决定。

已知$F_{k+2}=F_{k_1}+F_k$，但这不是$u_{k+1}=A{u}_k$的形式，而且我们只要一个方程，而不是方程组，同时这是一个二阶差分方程（就像含有二阶导数的微分方程，希望能够化简为一阶倒数，也就是一阶差分）。

使用一个小技巧，令$u_k=\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]$，再追加一个方程组成方程组：$\{\begin{array}{ll}{F}_{k+2}& =F_{k+1}+F_k\\ F_{k+1}& =F_{k+1}\end{array}$，再把方程组用矩阵表达得到$\left[\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]$，于是我们得到了$u_{k+1}=A{u}_k,A=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$。我们把二阶标量方程（second-order scalar problem）转化为一阶向量方程组（first-order system）。

我们的矩阵$A=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$是一个对称矩阵，所以它的特征值将会是实数，且他的特征向量将会互相正交。因为是二阶，我们可以直接利用迹与行列式解方程组$\{\begin{array}{ll}{\lambda }_1+{\lambda }_2& =1\\ {\lambda }_1\cdot {\lambda }_2& =-1\end{array}$。在求解之前，我们先写出一般解法并观察$|A-\lambda I|=\left|\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}\right|={\lambda }^2-\lambda -1=0$，与前面斐波那契数列的递归式$F_{k+2}=F_{k+1}+F_k\to F_{k+2}-F_{k+1}-F_k=0$比较，我们发现这两个式子在项数与幂次上非常相近。

• 用求根公式解特征值得$\{\begin{array}{l}{\lambda }_1=\frac{1}{2}(1+\sqrt{5})\approx 1.618\\ {\lambda }_2=\frac{1}{2}(1-\sqrt{5})\approx -0.618\end{array}$，得到两个不同的特征值，一定会有两个线性无关的特征向量，则该矩阵可以被对角化。

我们先来观察这个数列是如何增长的，数列增长由什么来控制？——特征值。哪一个特征值起决定性作用？——较大的一个。

$F_{100}=c_1{\left(\frac{1+\sqrt{5}}{2}\right)}^{100}+c_2{\left(\frac{1-\sqrt{5}}{2}\right)}^{100}\approx c_1{\left(\frac{1+\sqrt{5}}{2}\right)}^{100}$，由于$-0.618$在幂增长中趋近于$0$，所以近似的忽略该项，剩下较大的项，我们可以说数量增长的速度大约是$1.618$。可以看出，这种问题与求解$Ax=b$不同，这是一个动态的问题，$A$的幂在不停的增长，而问题的关键就是这些特征值。

• 继续求解特征向量，$A-\lambda I=\left[\begin{array}{cc}1-\lambda & 1\\ 1& 1-\lambda \end{array}\right]$，因为有根式且矩阵只有二阶，我们直接观察$\left[\begin{array}{cc}1-\lambda & 1\\ 1& 1-\lambda \end{array}\right]\left[\begin{array}{c}?\\ ?\end{array}\right]=0$，由于${\lambda }^2-\lambda -1=0$，则其特征向量为$\left[\begin{array}{c}\lambda \\ 1\end{array}\right]$，即$x_1=\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right],x_2=\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right]$。

最后，计算初始项$u_0=\left[\begin{array}{c}{F}_1\\ F_0\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$，现在将初始项用特征向量表示出来$\left[\begin{array}{c}1\\ 0\end{array}\right]=c_1{x}_1+c_2{x}_2$，计算系数得$c_1=\frac{\sqrt{5}}{5},c_2=-\frac{\sqrt{5}}{5}$。

来回顾整个问题，对于动态增长的一阶方程组，初始向量是$u_0$，关键在于确定$A$的特征值及特征向量。特征值将决定增长的趋势，发散至无穷还是收敛于某个值。接下来需要找到一个展开式，把$u_0$展开成特征向量的线性组合。

• 再下来就是套用公式，即$A$的$k$次方表达式$A^k=S{\mathrm{\Lambda }}^k{S}^{-1}$，则有$u_{99}=A{u}_{98}=\cdots =A^{99}{u}_0=S{\mathrm{\Lambda }}^{99}{S}^{-1}Sc=S{\mathrm{\Lambda }}^{99}c$，代入特征值、特征向量得$u_{99}=\left[\begin{array}{c}{F}_{100}\\ F_{99}\end{array}\right]=\left[\begin{array}{cc}\frac{1+\sqrt{5}}{2}& \frac{1-\sqrt{5}}{2}\\ 1& 1\end{array}\right]\left[\begin{array}{cc}{\left(\frac{1+\sqrt{5}}{2}\right)}^{99}& 0\\ 0& {\left(\frac{1-\sqrt{5}}{2}\right)}^{99}\end{array}\right]\left[\begin{array}{c}\frac{\sqrt{5}}{5}\\ -\frac{\sqrt{5}}{5}\end{array}\right]=\left[\begin{array}{c}{c}_1{\lambda }_1^{100}+c_2{\lambda }_2^{100}\\ c_1{\lambda }_1^{99}+c_2{\lambda }_2^{99}\end{array}\right]$，最终结果为$F_{100}=c_1{\lambda }_1^{100}+c_2{\lambda }_2^{100}$。

• 原式的通解为$u_k=c_1{\lambda }^k{x}_1+c_2{\lambda }^k{x}_2$。