Matrix 矩阵 on 线性代数

Identity Matrix 单位矩阵

Mon, 01 Jan 0001 00:00:00 +0000

Identity Matrix 单位矩阵

单位矩阵（ $Identity\ Matrix$ ）是矩阵世界里的数字 “ $1$ "。

数字 1 在乘法里的地位很特殊：任何数乘它都等于自己， $a \times 1 = a$ 。矩阵世界里扮演这个角色的，就是单位矩阵 $I$ 。

定义

单位矩阵是主对角线（左上到右下）上全是 $1$ 、其余位置全是 $0$ 的方阵：

I_2 = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}, \qquad I_3 = \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}, \qquad I_n = \begin{bmatrix} 1&&&\\ &1&&\\ &&\ddots&\\ &&&1 \end{bmatrix}

下标 $n$ 表示几阶，明确时直接写 $I$ 。有时也用 $E$ 表示。

代数视角：乘了等于没乘

任何一个向量乘上 $I$ ，结果原封不动：

Ix = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix} \begin{bmatrix} 3\\ 5 \end{bmatrix} = \begin{bmatrix} 1\times3+0\times5\\ 0\times3+1\times5 \end{bmatrix} = \begin{bmatrix} 3\\ 5 \end{bmatrix} = x

任何矩阵乘上 $I$ ，也原封不动：

Inverse Matrix 逆矩阵

Mon, 01 Jan 0001 00:00:00 +0000

Inverse Matrix 逆矩阵

逆矩阵（ $Inverse\ Matrix$ ）是"变换的逆问题"的数学化。

在矩阵笔记里埋过一个伏笔：

解方程 $Ax=b$ ，本质上就是问——“哪个向量 $x$ 经过变换 $A$ 之后，恰好落在 $b$ ？“解方程其实是变换的逆问题。

逆矩阵就是这句话的严格表达：如果 $A$ 是"执行变换”，那么 $A^{-1}$ 就是”撤销变换"；而 $Ax=b$ 的解，正是 $x = A^{-1}b$ 。

从数字的倒数说起

先看最熟悉的场景。解方程：

3x = 6

怎么解？两边除以 3，也就是乘以 3 的倒数：

x = \frac{1}{3} \cdot 6 = 2

倒数 $\frac{1}{3}$ 的本质是什么？是那个"和 3 相乘等于 1"的数：

3 \times \frac{1}{3} = 1

所以"除法"从来不是一种新运算，它就是"乘以倒数"。而倒数存在的前提只有一个：这个数不为 0。

矩阵世界里没有"除法"，但我们可以照搬这个思路：

能不能找到一个矩阵 $A^{-1}$ ，使得 $AA^{-1} = I$ ？

这里的 $I$ 就扮演着数字 “ $1$ ” 的角色。

单位矩阵 $I$ ：变换世界里的"1"

单位矩阵（identity matrix）是对角线上全是 1、其余全是 0 的方阵：

I = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}, \qquad I = \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}

用“列 = 基向量落点”的读法看： $I$ 的列就是 $\hat{\mathbf{i}}, \hat{\mathbf{j}}$ 原地不动。所以它代表的变换是——什么都不做：

Determinant 行列式

Mon, 01 Jan 0001 00:00:00 +0000

Determinant 行列式

Determinant 是英语中的多义词，作名词时指“决定性因素”或数学中的"行列式"，作形容词意为“决定性的”。

定义

数学中的"行列式"是方阵元素（ $n \times n$ 矩阵）的一个标量值函数。

一定要注意：从定义上来说，行列式是一个函数 $\det(X)$ ；对于一个具体方阵来说，算出来最终是一个数值。例如矩阵 $A$ ：

A= \begin{bmatrix} 2&3\\ 1&4 \end{bmatrix}

矩阵 $A$ 的行列式是：

\det(A) = 2 \times 4 - 3 \times 1 = 5

可以说：矩阵 $A$ 的行列式是 $5$ 。还可以这样写：

\det\begin{bmatrix} 2 & 3 \\ 1 & 4 \end{bmatrix} = \begin{vmatrix} 2 & 3 \\ 1 & 4 \end{vmatrix} = |A| = 5

类比：重要指标

行列式是矩阵中一个非常重要的标量指标，就像一个人的 BMI 一样：一个人的身体包含身高、体重、年龄、血压等大量信息，而 BMI 用一个数字对其中一部分重要特征进行高度概括；同样，一个矩阵包含大量元素和结构信息，而行列式将整个方阵映射为一个标量，用一个数字快速反映矩阵的一些核心性质，例如矩阵是否可逆，以及线性变换对面积、体积等尺度的缩放情况。

不过要注意一个关键点：BMI 不能代表一个人的全部身体状况，行列式也不能代表矩阵的全部信息。

区分：Matrix 矩阵 VS Determinant 行列式

Matrix（矩阵） → 是一个数字排列成的表格，具体的数字与形状
Determinant（行列式） → 是一个函数。讨论最终从某个方阵计算出来的一个数

作用 - 缩放倍数

一个 $n \times n$ 矩阵 $A$ 本质上代表一个线性变换：它把向量 $\mathbf{x}$ 映射为 $A\mathbf{x}$ 。行列式的绝对值，就是线性变换对任意区域（或基向量张成的平行多面体）体积 的缩放倍数；而行列式的正负号，则表示变换前后空间定向是否改变（正为同向，负为反向）。

Rank 秩

Mon, 01 Jan 0001 00:00:00 +0000

Rank 秩

问题的引入

假设方程：

\begin{cases} x + 2y + 3z = 6 \\ 2x + 4y + 6z = 12 \\ x + y + z = 3 \end{cases}

设系数矩阵 $A$ ：

A = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 1 & 1 & 1 \end{pmatrix}

想问一个问题：这个矩阵中到底有多少个“真正独立的信息”？ 这就是 秩（rank） 想要回答的问题。

从行的角度看：有多少个独立的约束？

从方程行的角度上看这 3 个方程：

第 2 个方程 = 2 × 第 1 个方程，第 2 行是第 1 行的倍数，因此没有提供新的独立约束；
第 3 个方程和第 1 个方程不成比例；
这三个方程实际上只有 2 个独立的约束。

也就是说，第 2 个方程是废话——它没有带来任何新信息。有没有第 2 个方程都不会影响对整个方程的求解。真正独立的方程只有 2 个。 所以：

Pivot 主元

Mon, 01 Jan 0001 00:00:00 +0000

Pivot 主元

主元（Pivot）是高斯消元得到的阶梯形矩阵中，每一个**非零行从左往右遇到的第一个非零数。

例如：

\begin{pmatrix} 1&2&3\\ 0&-1&-2\\ 0&0&0 \end{pmatrix}

从左往右观察每一行：

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

第一行的第一个非零数是 $1$ ，它是一个 Pivot；
第二行的第一个非零数是 $-1$ ，它是一个 Pivot；
第三行全是 $0$ ，没有 Pivot。

因此：

\boxed{\text{Pivot 的个数}=2}

定义

在行阶梯形矩阵（REF）中，每个非零行最左边的非零元素称为一个 Pivot（主元）。

作用

行独立的信息

Pivot 可以帮助我们判断：一个矩阵到底有多少个真正独立的信息

A= \begin{pmatrix} 1&2&3\\ 2&4&6\\ 1&1&1 \end{pmatrix}

第二行满足：

R_2=2R_1

且第三行确实与第一行不成倍数，所以最后有两个独立行。所以说第二行实际上是重复信息。

进行高斯消元后，可以看到两个 Pivot：

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

有两个 Pivot。这意味着这个矩阵中有：

\text{Pivot 的个数} = 真正独立的信息 = 独立行的数量 = 2

列独立的信息

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

Pivot 分别位于第 1、2 列，因此第 1、2 列称为 Pivot Columns（主元列）。称第 3 列是非主元列，因为：

Column Space 列空间

Mon, 01 Jan 0001 00:00:00 +0000

Column Space 列空间

Column Space 列空间是一个集合。它是系数矩阵的列向量组成的集合 $\{\mathbf v_1,\mathbf v_2 \dots \mathbf v_k\}$ 的 Span 张成空间。也就是说 Column Space 列空间 就是矩阵的所有列向量能够通过线性组合得到的所有向量组成的集合。假设系数矩阵：

A= \begin{bmatrix} | & | & & | \\ \mathbf v_1 & \mathbf v_2 & \dots & \mathbf v_k \\ | & | & & | \\ \end{bmatrix}

其中 $\mathbf v_1,\mathbf v_2 \dots \mathbf v_k$ 是 $A$ 的 $k$ 个列向量。那么系数矩阵 $A$ 的 Column Space 列空间 定义为：

\operatorname{Col}(A) = \operatorname{span}\{\mathbf v_1,\mathbf v_2,\mathbf v_3\}

展开就是：

Col(A)= \text{span}(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k) = \{\, c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k \mid c_1, c_2, \dots, c_k \in \mathbb{R} \,\}

我们也可以用像空间来表示：

深入理解：矩阵变换的几何意义

Mon, 01 Jan 0001 00:00:00 +0000

深入理解：矩阵变换的几何意义

用矩阵描述一张地图旋转 $90^\circ$

假设你正在开发一个地图或游戏系统。

地图上有一个玩家，原来的坐标是：

P=(2,3)

现在，我们把整个地图逆时针旋转 $90^\circ$ 。

我们的问题是：

玩家旋转之后的坐标是多少？为什么旋转矩阵的两列，就可以决定整个地图的变化？

第一步：先别管玩家，观察坐标系

把地图想象成一张坐标纸。

在二维坐标系中，我们有两个最基本的方向：

向右走一步：

\mathbf{i} = \begin{bmatrix} 1\\ 0 \end{bmatrix}

向上走一步：

\mathbf{j} = \begin{bmatrix} 0\\ 1 \end{bmatrix}

玩家的位置 $(2,3)$ ，其实并不神秘。

它真正表达的是：

P=2\mathbf{i}+3\mathbf{j}

也就是说：

从原点出发，沿着 $\mathbf{i}$ 方向走 $2$ 步，再沿着 $\mathbf{j}$ 方向走 $3$ 步。

因此：

\begin{bmatrix} 2\\ 3 \end{bmatrix} = 2 \begin{bmatrix} 1\\ 0 \end{bmatrix} + 3 \begin{bmatrix} 0\\ 1 \end{bmatrix}

第二步：把整个地图逆时针旋转 $90^\circ$

现在，我们把整个坐标系逆时针旋转 $90^\circ$ 。

这时候，我们其实不需要观察地图上的每一个点。

只需要观察两个最基本的方向。

问题 1：原来的向右方向去哪了？

原来的

\mathbf{i} = \begin{bmatrix} 1\\ 0 \end{bmatrix}

逆时针旋转 $90^\circ$ 后变成：

\mathbf{i}' = \begin{bmatrix} 0\\ 1 \end{bmatrix}

也就是：

\boxed{ \mathbf{i} \longrightarrow \begin{bmatrix} 0\\ 1 \end{bmatrix} }

问题 2：原来的向上方向去哪了？

原来的

Matrix 矩阵 on 线性代数

Identity Matrix 单位矩阵

Identity Matrix 单位矩阵

定义

代数视角：乘了等于没乘

Inverse Matrix 逆矩阵

Inverse Matrix 逆矩阵

从数字的倒数说起

单位矩阵 II：变换世界里的"1"

Determinant 行列式

Determinant 行列式

定义

类比：重要指标

区分：Matrix 矩阵 VS Determinant 行列式

作用 - 缩放倍数

Rank 秩

Rank 秩

问题的引入

从行的角度看：有多少个独立的约束？

Pivot 主元

Pivot 主元

定义

作用

行独立的信息

列独立的信息

Column Space 列空间

Column Space 列空间

深入理解：矩阵变换的几何意义

深入理解：矩阵变换的几何意义

用矩阵描述一张地图旋转 90∘90^\circ

第一步：先别管玩家，观察坐标系

第二步：把整个地图逆时针旋转 90∘90^\circ

问题 1：原来的向右方向去哪了？

问题 2：原来的向上方向去哪了？

单位矩阵 $I$ ：变换世界里的"1"

用矩阵描述一张地图旋转 $90^\circ$

第二步：把整个地图逆时针旋转 $90^\circ$