Geeks_Z の Blog Geeks_Z の Blog
首页
  • 学习笔记

    • 《HTML》
    • 《CSS》
    • 《JavaWeb》
    • 《Vue》
  • 后端文章

    • Linux
    • Maven
    • 汇编语言
    • 软件工程
    • 计算机网络概述
    • Conda
    • Pip
    • Shell
    • SSH
    • Mac快捷键
    • Zotero
  • 学习笔记

    • 《数据结构与算法》
    • 《算法设计与分析》
    • 《Spring》
    • 《SpringMVC》
    • 《SpringBoot》
    • 《SpringCloud》
    • 《Nginx》
  • 深度学习文章
  • 学习笔记

    • 《PyTorch》
    • 《ReinforementLearning》
    • 《MetaLearning》
  • 学习笔记

    • 《高等数学》
    • 《线性代数》
    • 《概率论与数理统计》
  • 增量学习
  • 哈希学习
GitHub (opens new window)

Geeks_Z

AI小学生
首页
  • 学习笔记

    • 《HTML》
    • 《CSS》
    • 《JavaWeb》
    • 《Vue》
  • 后端文章

    • Linux
    • Maven
    • 汇编语言
    • 软件工程
    • 计算机网络概述
    • Conda
    • Pip
    • Shell
    • SSH
    • Mac快捷键
    • Zotero
  • 学习笔记

    • 《数据结构与算法》
    • 《算法设计与分析》
    • 《Spring》
    • 《SpringMVC》
    • 《SpringBoot》
    • 《SpringCloud》
    • 《Nginx》
  • 深度学习文章
  • 学习笔记

    • 《PyTorch》
    • 《ReinforementLearning》
    • 《MetaLearning》
  • 学习笔记

    • 《高等数学》
    • 《线性代数》
    • 《概率论与数理统计》
  • 增量学习
  • 哈希学习
GitHub (opens new window)
  • 线性代数

    • 线性代数知识点总结
    • 方程组的几何解释
    • 矩阵消元
    • 乘法和逆矩阵
    • 矩阵的LU分解
    • 转换、置换、向量空间R
    • 列空间和零空间
    • 求解Ax=0主变量——特解
    • 求解Ax=b 可解性和解的结构
    • 线性相关性、基、维数
    • 四个基本子空间
    • 矩阵空间、秩1矩阵和小世界图
    • 图和网络
    • 正交向量与子空间
    • 子空间投影
    • 投影矩阵和最小二乘
    • 正交矩阵和Gram-Schmidt正交化法
      • 标准正交矩阵
      • Gram-Schmidt正交化法
    • 行列式及其性质
    • 行列式公式和代数余子式
    • 克拉默法则、逆矩阵、体积
    • 特征值和特征向量
    • 对角化和$A$的幂
    • 微分方程
    • 马尔科夫矩阵、傅里叶级数
    • 对称矩阵及正定性
    • 对称矩阵及正定性
    • 复数矩阵和快速傅里叶变换
    • 正定矩阵和最小值
    • 相似矩阵和若尔当形
    • 奇异值分解
    • 线性变换及对应矩阵
    • 基变换和图像压缩
    • 左右逆和伪逆
  • 概率论与数理统计

  • 矩阵

  • 分布

  • 数学笔记
  • 线性代数
Geeks_Z
2024-05-01
目录
标准正交矩阵
Gram-Schmidt正交化法

正交矩阵和Gram-Schmidt正交化法

标准正交矩阵

定义标准正交向量(orthonormal):qiTqj={0i≠j1i=j ,我们将标准正交向量放入矩阵中,有Q=[q1q2⋯qn]。

根据标准正交向量的定义,计算QTQ=[q1Tq2T⋮qnT][q1q2⋯qn]=[10⋯001⋯0⋮⋮⋱⋮00⋯1]=I,我们也把Q称为标准正交矩阵(orthonormal matrix)。

特别的,当Q恰好是方阵时,由于正交性,易得Q是可逆的,又QTQ=I,所以QT=Q−1。

  • 举个置换矩阵的例子:Q=[010100001],则QT=[010001100],易得QTQ=I。
  • 使用上一讲的例子Q=[cos⁡θ−sin⁡θsin⁡θcos⁡θ],列向量长度为1,且列向量相互正交。
  • 其他例子Q=12[111−1],列向量长度为1,且列向量相互正交。
  • 使用上一个例子的矩阵,令Q′=c[QQQ−Q],取合适的 c 令列向量长度为1也可以构造标准正交矩阵:Q=12[11111−11−111−1−11−1−11],这种构造方法以阿德玛(Adhemar)命名,对2,4,16,64,⋯阶矩阵有效。
  • 再来看一个例子,Q=13[1−222−1−2221],列向量长度为1,且列向量相互正交。格拉姆-施密特正交化法的缺点在于,由于要求得单位向量,所以我们总是除以向量的长度,这导致标准正交矩阵中总是带有根号,而上面几个例子很少有根号。

再来看标准正交化有什么好处,假设要做投影,将向量b投影在标准正交矩阵Q的列空间中,根据上一讲的公式得P=Q(QTQ)−1QT,易得P=QQT。我们断言,当列向量为标准正交基时,QQT是投影矩阵。极端情况,假设矩阵是方阵,而其列向量是标准正交的,则其列空间就是整个向量空间,而投影整个空间的投影矩阵就是单位矩阵,此时QQT=I。可以验证一下投影矩阵的两个性质:(QQT)T=(QT)TQT=QQT,得证;(QQT)2=QQTQQT=Q(QTQ)QT=QQT,得证。

我们计算的ATAx^=ATb,现在变为QTQx^=QTb,也就是x^=QTb,分解开来看就是 x^i=qiTb―,这个式子在很多数学领域都有重要作用。当我们知道标准正交基,则解向量第i个分量为基的第i个分量乘以b,在第i个基方向上的投影就等于qiTb。

Gram-Schmidt正交化法

我们有两个线性无关的向量a,b,先把它们化为正交向量A,B,再将它们单位化,变为单位正交向量q1=A‖A‖,q2=B‖B‖:

  • 我们取定a向量的方向,a=A;
  • 接下来将b投影在A的法方向上得到B,也就是求子空间投影一讲中,我们提到的误差向量e=b−p,即B=b−ATbATAA。检验一下A⊥B,ATB=ATb−ATATbATAA=ATb−ATAATAATb=0。(ATbATAA就是Ax^=p。)

如果我们有三个线性无关的向量a,b,c,则我们现需要求它们的正交向量A,B,C,再将它们单位化,变为单位正交向量q1=A‖A‖,q2=B‖B‖,q3=C‖C‖:

  • 前两个向量我们已经得到了,我们现在需要求第三个向量同时正交于A,B;
  • 我们依然沿用上面的方法,从c中减去其在A,B上的分量,得到正交与A,B的C:C=c−ATcATAA−BTcBTBB。

现在我们试验一下推导出来的公式,a=[111],b=[102]:

  • 则A=a=[111];
  • 根据公式有B=a−hA,h是比值ATbATA=33,则B=[111]−33[102]=[0−11]。验证一下正交性有A⋅B=0。
  • 单位化,q1=13[111],q2=12[102],则标准正交矩阵为Q=[13013−121312],对比原来的矩阵D=[111012],有D,Q的列空间是相同的,我们只是将原来的基标准正交化了。

我们曾经用矩阵的眼光审视消元法,有A=LU。同样的,我们也用矩阵表达标准正交化,A=QR。设矩阵A有两个列向量[a1a2],则标准正交化后有[a1a2]=[q1q2][a1Tq1a2Tq1a1Tq2a2Tq2],而左下角的a1Tq2始终为0,因为Gram-Schmidt正交化总是使得a1⊥q2,后来构造的向量总是正交于先前的向量。所以这个R矩阵是一个上三角矩阵。

上次更新: 2025/07/06, 13:25:25
投影矩阵和最小二乘
行列式及其性质

← 投影矩阵和最小二乘 行列式及其性质→

最近更新
01
优化器
07-04
02
weight_decay
07-03
03
帮助信息查看
06-08
更多文章>
Theme by Vdoing | Copyright © 2022-2025 Geeks_Z | MIT License
京公网安备 11010802040735号 | 京ICP备2022029989号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式