数据科学中的实用线性代数

第 9 章 正交矩阵和 QR 分解 正交矩阵和 QR 分解

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在本书中，你将学习五种主要的分解：正交向量分解、QR分解、LU分解、等差数列分解和奇异值分解。这些并不是线性代数中唯一的分解，但却是数据科学和机器学习中最重要的分解。

本章将学习 QR。同时，你还将学习一种新的特殊矩阵类型（正交矩阵）。 QR 分解是矩阵求逆、最小二乘法模型拟合和等差数列分解等应用的主要工具。因此，了解并熟悉 QR 分解有助于提高你的线性代数技能。

正交矩阵

首先，我将向大家介绍正交矩阵。正交矩阵是一种特殊的矩阵，对于 QR、等差数列分解和奇异值分解等几种分解都很重要。字母 $𝐐$通常用来表示正交矩阵。 正交矩阵有两个特性：

正交列

所有栏目都是成对正交的。

单位正数列

每列的规范（几何长度）正好为 1。

我们可以将这两个性质转化为数学表达式（请记住 $〈𝐚,𝐛〉$是点积的另一种符号）：

$$〈{𝐪}_i,{𝐪}_j〉=\{\begin{array}{c}0,\text{如果}i\ne j\hfill \\ 1,\text{如果}i=j\hfill \end{array}$$

这意味着什么呢？ 这意味着一列与自身的点积为 1，而一列与其他任何一列的点积为 0。我们可以通过矩阵的转置来组织所有列对之间的点积。请记住，矩阵乘法的定义是左边矩阵的所有行与右边矩阵的所有列之间的点乘。 ${𝐐}^{\text{T}}$的列。 $𝐐$.

矩阵方程表达了正交矩阵的两个关键特性，令人叹为观止：

$${𝐐}^{\text{T}}𝐐=𝐈$$

表达式 ${𝐐}^{\text{T}}𝐐=𝐈$太神奇了。真的，这是件大事。

为什么这是件大事？因为 ${𝐐}^{\text{T}}$是一个矩阵，它乘以 $𝐐$产生同矩阵。这与矩阵逆的定义完全相同。 因此，正交矩阵的逆就是它的转置。这真是酷毙了，因为矩阵求逆既繁琐又容易出现数值误差，而矩阵转置则快速准确。

这种矩阵真的存在吗，还是只是数据科学家的想象？是的，它们确实存在。事实上，标识矩阵就是正交矩阵的一个例子。这里还有另外两个：

$$\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& -1\\ 1& \phantom{-}1\end{array}\right],\frac{1}{3}\left[\begin{array}{ccc}\phantom{-}1& \phantom{-}2& \phantom{-}2\\ \phantom{-}2& \phantom{-}1& -2\\ -2& \phantom{-}2& -1\end{array}\right]$$

请花点时间确认每一列都有单位长度，并且与其他列正交。然后我们可以在 Python 中进行确认：

Q1 = np.array([ [1,-1],[1,1] ]) / np.sqrt(2)
Q2 = np.array([ [1,2,2],[2,1,-2],[-2,2,-1] ]) / 3

print( Q1.T @ Q1 )
print( Q2.T @ Q2 )

两个输出都是同一矩阵（四舍五入误差在^10-15 之间）。如果计算 $𝐐{𝐐}^{\text{T}}$?这还是同一矩阵吗？试试就知道了！¹

正交矩阵的另一个例子是第 7 章中学习的纯旋转矩阵。你可以回到那段代码，确认变换矩阵乘以它的转置就是同位矩阵，与旋转角度无关（只要在所有矩阵元素中使用相同的旋转角度）。置换矩阵也是正交矩阵。 置换矩阵用于交换矩阵的行数；你将在下一章讨论 LU 分解时了解它们。

如何创造出如此宏伟的数学奇迹？正交矩阵可以通过 QR 分解从非正交矩阵计算出来，QR 分解基本上是格拉姆-施密特分解的一个复杂版本。 那么格拉姆-施密特是如何工作的呢？ ...