在四个基本子空间中，提到对于秩为r的$m\times n$矩阵，其行空间（$dimC(A^T)=r$）与零空间（$dimN(A)=n-r$）同属于${\mathbb{R}}^n$空间，其列空间（$dimC(A)=r$）与左零空间（$dimN(A^T)$=m-r）同属于${\mathbb{R}}^m$空间。

对于向量$x,y$，当$x^T\cdot y=0$即$x_1{y}_1+x_2{y}_x+\cdots +x_n{y}_n=0$时，有向量$x,y$正交（vector orthogonal）。

毕达哥拉斯定理（Pythagorean theorem）中提到，直角三角形的三条边满足：

$$\begin{array}{rl}{\Vert \overrightarrow{x}\Vert }^2+{\Vert \overrightarrow{y}\Vert }^2& ={\Vert \overrightarrow{x+y}\Vert }^2\\ x^{T}x+y^{T}y& =(x+y{)}^T(x+y)\\ x^{T}x+y^{T}y& =x^{T}x+y^{T}y+x^{T}y+y^{T}x\\ 0& =x^{T}y+y^{T}x\mathrm{对}\mathrm{于}\mathrm{向}\mathrm{量}\mathrm{点}\mathrm{乘}，x^{T}y=y^{T}x\\ 0& =2x^{T}y\\ x^{T}y& =0\end{array}$$

由此得出，两正交向量的点积为$0$。另外，$x,y$可以为$0$向量，由于$0$向量与任意向量的点积均为零，所以$0$向量与任意向量正交。

举个例子： $x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right],y=\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right],x+y=\left[\begin{array}{c}3\\ 1\\ 3\end{array}\right]$，有${\Vert \overrightarrow{x}\Vert }^2=14,{\Vert \overrightarrow{y}\Vert }^2=5,{\Vert \overrightarrow{x+y}\Vert }^2=19$，而$x^{T}y=1\times 2+2\times (-1)+3\times 0=0$。

向量$S$与向量$T$正交，则意味着$S$中的每一个向量都与$T$中的每一个向量正交。若两个子空间正交，则它们一定不会相交于某个非零向量。

现在观察行空间与零空间，零空间是$Ax=0$的解，即$x$若在零空间，则$Ax$为零向量；

而对于行空间，有 $\left[\begin{array}{c}ro{w}_1\\ ro{w}_2\\ ⋮\\ ro{w}_m\end{array}\right][x]=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$，可以看出：

$$\begin{gathered} \left[\begin{array}{c}ro{w}_1\end{array}\right][x]=0 \\ \left[\begin{array}{c}ro{w}_2\end{array}\right][x]=0 \\ ⋮ \\ \left[\begin{array}{c}ro{w}_m\end{array}\right][x]=0 \end{gathered}$$

所以这个等式告诉我们，$x$同$A$中的所有行正交；

接下来还验证$x$是否与$A$中各行的线性组合正交， $\{\begin{array}{l}{c}_1(ro{w}_1{)}^{T}x=0\\ c_2(ro{w}_2{)}^{T}x=0\\ ⋮\\ c_n(ro{w}_m{)}^{T}x=0\end{array}$，各式相加得$(c_{1}ro{w}_1+c_{2}ro{w}_2+\cdots +c_{n}ro{w}_m{)}^{T}x=0$，得证。

我们可以说，行空间与零空间将${\mathbb{R}}^n$分割为两个正交的子空间，同样的，列空间与左零空间将${\mathbb{R}}^m$分割为两个正交的子空间。

举例，$A=\left[\begin{array}{ccc}1& 2& 5\\ 2& 4& 10\end{array}\right]$，则可知$m=2,n=3,rank(A)=1,dimN(A)=2$。

有$Ax=\left[\begin{array}{ccc}1& 2& 5\\ 2& 4& 10\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$，解得零空间的一组基$x_1=\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]x_2=\left[\begin{array}{c}-5\\ 0\\ 1\end{array}\right]$。

而行空间的一组基为$r=\left[\begin{array}{c}1\\ 2\\ 5\end{array}\right]$，零空间与行空间正交，在本例中行空间也是零空间的法向量。

补充一点，我们把行空间与零空间称为$n$维空间里的正交补（orthogonal complement），即零空间包含了所有与行空间正交的向量；同理列空间与左零空间为$m$维空间里的正交补，即左零空间包含了所有与零空间正交的向量。

接下来看长方矩阵，$m>n$。对于这种矩阵，$Ax=b$中经常混入一些包含“坏数据”的方程，虽然可以通过筛选的方法去掉一些我们不希望看到的方程，但是这并不是一个稳妥的方法。

于是，我们引入一个重要的矩阵：$A^{T}A$。这是一个$n\times m$矩阵点乘$m\times n$矩阵，其结果是一个$n\times n$矩阵，应该注意的是，这也是一个对称矩阵，证明如下：

$$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$$

这一章节的核心就是$A^{T}Ax=A^{T}b$，这个变换可以将“坏方程组”变为“好方程组”。

举例，有$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$，只有当$\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$在矩阵的列空间时，方程才有解。

现在来看$\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 5\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$，可以看出此例中$A^{T}A$是可逆的。然而并非所有$A^{T}A$都是可逆的，如$\left[\begin{array}{ccc}1& 1& 1\\ 3& 3& 3\end{array}\right]\left[\begin{array}{cc}1& 3\\ 1& 3\\ 1& 3\end{array}\right]=\left[\begin{array}{cc}3& 9\\ 9& 27\end{array}\right]$（注意到这是两个秩一矩阵相乘，其结果秩不会大于一）

先给出结论：

$$\begin{gathered} N(A^{T}A)=N(A) \\ rank(A^{T}A)=rank(A) \\ {A}^{T}A\mathrm{可}\mathrm{逆}\mathrm{当}\mathrm{且}\mathrm{仅}\mathrm{当}N(A)\mathrm{为}\mathrm{零}\mathrm{向}\mathrm{量}，\mathrm{即}A\mathrm{的}\mathrm{列}\mathrm{线}\mathrm{性}\mathrm{无}\mathrm{关} \end{gathered}$$