Linear Algebra 线性代数 on 线性代数

Linear System 线性系统

Mon, 01 Jan 0001 00:00:00 +0000

Linear System 线性系统

线性系统是满足齐次性（Homogeneity）与可加性（Additivity）的系统；二者合称叠加原理（Superposition Principle）。

线性系统的规律可预测、可拆解

可预测 指系统规则是 Homogeneous 同质的，即系统满足一种 “按比例放大缩小”的均匀性 规则。

f(k⋅x)=k⋅f(x)

可拆解 指系统规则是 Additivity 可叠加性，即系统允许将复杂输入拆成简单分量分别求解后再合成。

f(x_1+x_2)=f(x_1)+f(x_2)

线性描述的不是系统“长得简单”，而是系统如何响应输入。也就是说对于任意输入 $x_1,x_2$ 和任意常数 $a,b$ ，输出能不能反映成：

f(ax_1+bx_2)=af(x_1)+bf(x_2)

线性系统的零输入 → 零输出

已知线性系统的同质性：

f(ax)=af(x)

令 $a=0$ ：

f(0)=0f(x)=0

即：

\boxed{f(0)=0}

也就是说 线性系统一定把零输入映射成零输出。 例如：

f(x)=2x+3

虽然它看起来很简单，但：

f(0)=3\neq0

所以它不是线性系统。它其实是：

\text{线性部分}+ \text{常数偏移}

也就是所谓的 Affine（仿射）系统。

Homogeneity 同质

Mon, 01 Jan 0001 00:00:00 +0000

Homogeneity 同质

Homogeneity 同质 它由两个拉丁词根拼成：

Homo（相同、同一）
Gene（种类、起源）

所以它的字面灵魂就是：“同一个种类”、“从头到尾一个样”。

1. 生活中的 “Homogeneity” 意为均质、同质

生活中的 “Homogeneity” 意为 均质、同质。可以把它理解为 “均匀无差别”。例如：

一杯充分搅拌的糖水。你喝第一口、中间一口、最后一口，甜度完全一样。这杯糖水就是 Homogeneous 均质 的，成分分布“同质”。
// TODO 举一个不均质、同质的例子

2. 数学线性系统里的 “Homogeneity”

它特指一种 “按比例放大缩小”的均匀性 规则。通俗的说就是：**“输入变几倍，输出就跟着变几倍”。

f(k⋅x)=k⋅f(x)

例如：输入 1伏特，它输出 2伏特 。把输入变成 5伏特（扩大了5倍），输出必须是 10伏特。因为输入变大了，系统“一视同仁”，依然按照“放大2倍”这个同一种规则来处理。

反例 1: 出租车计价器

起步价10元（含3公里），之后每公里2元。坐 1公里（输入），车费是 10元（输出）。现在你把距离放大3倍，坐 3公里（输入×3）。

如果按照“齐次”的要求，车费应该是 10元 × 3 = 30元。但实际计价器显示：起步价10元（含3公里），正好是 10元。

结论：这个计价系统是非齐次（Non-homogeneous）的。原因就是那个“起步价”（常数项）破坏了比例关系。这也是为什么数学上严格说 $y=3x+10$ 不是线性系统，而只是“仿射系统”的原因。

反例 2: 快被拉断的橡皮筋

轻拉橡皮筋，每挂10g砝码，它就伸长1cm（这是齐次的）。

现在你把砝码放大20倍，挂 200g。按照“齐次”的要求，它应该伸长 1cm × 20 = 20cm。但现实是，橡皮筋快被拉断了，弹性极限到了，它实际只伸长了 12cm。

结论：12cm ≠ 20cm。因为系统在不同“输入大小”下，内部的物理特性（弹性系数）改变了，不再遵循同一种缩放规则，所以它是非齐次的。

Vector Set 向量集

Mon, 01 Jan 0001 00:00:00 +0000

Vector Set 向量集

Vector Set 向量集，就是把若干个向量放在一起形成的集合。它只说明“哪些向量属于这一组”，并没有自动保证这些向量可以相加、缩放，或者组成一个向量空间。

可以把它理解成一个候选输入/输出的清单：集合中的每一个元素都是一个向量，集合本身则规定了哪些向量允许被取出来。

定义

一个向量集通常写成集合符号：

S=\{\mathbf v_1,\mathbf v_2,\ldots,\mathbf v_k\}

例子：只有 4 个元素的向量集

一个具体的有限向量集是：

S=\left\{ \begin{bmatrix}1\\2\\3\end{bmatrix}, \begin{bmatrix}4\\5\\6\end{bmatrix}, \begin{bmatrix}6\\8\\9\end{bmatrix}, \begin{bmatrix}9\\0\\2\end{bmatrix} \right\}

它是一个包含 4 个三维向量 的有限集合。这里的逗号是在列举成员，不表示要把这些向量相加。

例子：有无限多个元素的向量集

考虑下面的集合：

L=\left\{ \begin{bmatrix}x_1\\x_2\end{bmatrix} :x_1+x_2=1 \right\}

这里 $x_1,x_2$ 可以取遍满足条件的所有实数，因此集合中有无限多个向量。例如：

\begin{bmatrix}0\\1\end{bmatrix},\quad \begin{bmatrix}1\\0\end{bmatrix},\quad \begin{bmatrix}0.3\\0.7\end{bmatrix},\quad \begin{bmatrix}0.7\\0.3\end{bmatrix}\in L

把 $x_2=1-x_1$ 代入后，条件变成：

\begin{bmatrix}x_1\\x_2\end{bmatrix} =\begin{bmatrix}t\\1-t\end{bmatrix},\quad t\in\mathbb R

所以 $L$ 在平面上是一条直线 $x_1+x_2=1$ 。改变参数 $t$ ，就得到这条直线上的不同向量。

区分：Vector Set 向量集 VS Span 张成空间

Vector Set 向量集：直接列出或描述“有哪些成员”。集合中的向量可以彼此没有关系。
Span 张成空间：先给定若干向量，再让系数取遍所有实数，收集它们所有的线性组合：

\operatorname{span}(\mathbf v_1,\ldots,\mathbf v_k) =\{c_1\mathbf v_1+\cdots+c_k\mathbf v_k\mid c_i\in\mathbb R\}

Span 一定包含零向量（令所有 $c_i=0$ ），并且是一个子空间；普通的向量集则不一定。

例如：

\left\{\begin{bmatrix}1\\0\end{bmatrix},\begin{bmatrix}0\\1\end{bmatrix}\right\}

只是两个向量组成的集合，而

\operatorname{span}\left(\begin{bmatrix}1\\0\end{bmatrix},\begin{bmatrix}0\\1\end{bmatrix}\right)=\mathbb R^2

是由它们生成的、包含无限多个向量的整个平面。

n-dimensional real space n维实数空间(Rn)

Mon, 01 Jan 0001 00:00:00 +0000

n-dimensional real space n维实数空间(Rn)

$\mathbb R^n$ n-dimensional real space n 维实数空间是一个Vector Set 向量集。可以理解成：由 $n$ 个实数组成的所有向量的集合。

在这个集合中，每个元素是一个向量，有无限多个向量。每个向量的Component是一个实数，有N个Component。

这里的符号分别表示：

$\mathbb R$ ：实数集合（Real numbers）；
$n$ ：向量的维度，也就是Component 分量的个数；
$\mathbb R^n$ ：所有 $n$ 维实向量组成的空间。

$\mathbb R^1$ ：数轴

\mathbb R^1=\{x\mid x\in\mathbb R\}

它的每个元素只有一个分量，可以看作普通的数轴。

$\mathbb R^2$ ：二维平面

\mathbb R^2= \left\{ \begin{bmatrix}x_1\\x_2\end{bmatrix} \middle|x_1,x_2\in\mathbb R \right\}

例如：

\begin{bmatrix}3\\5\end{bmatrix}\in\mathbb R^2

每个元素有两个分量，所以 $\mathbb R^2$ 就是熟悉的二维平面。

$\mathbb R^3$ ：三维空间

\mathbb R^3= \left\{ \begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix} \middle|x_1,x_2,x_3\in\mathbb R \right\}

例如：

\begin{bmatrix}2\\-1\\7\end{bmatrix}\in\mathbb R^3

它可以表示三维空间中的一个向量。

一般形式： $\mathbb R^n$

\mathbb R^n= \left\{ \begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix} \middle|x_i\in\mathbb R\right\}

也就是说，一个元素 $\mathbf x\in\mathbb R^n$ 长这样：

\mathbf x=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}

其中每一个 $x_i$ 都是实数； $i$ 从 $1$ 变化到 $n$ ，表示向量的第 $i$ 个分量。

Span 张成空间

Mon, 01 Jan 0001 00:00:00 +0000

Span 张成空间

Span（张成空间） 是一个向量集合。描述的是给定几个向量，只用"缩放再相加"（线性组合）这一种手段，总共能到达哪些地方（组成的新的向量的集合）。

我们说向量 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k$ 的 span 是：

\text{span}(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k) = \{\, c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k \mid c_1, c_2, \dots, c_k \in \mathbb{R} \,\}

读法：系数 $c_1, \dots, c_k$ 取遍所有实数时，所有可能的输出组成的集合。

属性-一定包含零向量

Span 总是包含零向量。只要把所有线性组合的系数都取为 $0$ ：

c_1=c_2=\cdots=c_k=0

就有：

0\mathbf v_1+0\mathbf v_2+\cdots+0\mathbf v_k=\mathbf 0

因此：

\mathbf 0\in\operatorname{span}(\mathbf v_1,\ldots,\mathbf v_k)

这也是为什么由 Span 得到的直线或平面一定经过原点。

属性-张成空间的维数

Span 的维数表示给定的几个向量中实际“独立方向”的个数，也就是 Rank 秩。也就是这组向量中线性无关向量的最大个数。（定义 A/B）

例如： $v1=(1,0,0),v2=(0,1,0),v3=(1,1,0)$ 虽然给了 3 个向量，但 $v3=v1+v2$ ，线性相关；独立向量只有 2 个（v1 和 v2）；span(v1,v2,v3) 是实际的维数是2。

特别地，在方程的系数矩阵中，我们形容列(或行)向量的张成空间的维数 为 Rank 秩。这也是秩的定义之一：

Basis 基

Mon, 01 Jan 0001 00:00:00 +0000

Basis 基

Basis 基 是一个向量组。能作为 $\mathbb{R}^n$ 向量空间的一组参照系：用它们做"走步方向"，空间里任何一个向量都能被唯一地表示出来。 $\mathbb{R}^n$ 空间中的基正好包含 $n$ 个向量。

条件: 成为 $\mathbb{R}^n$ 基

不是 $\mathbb{R}^n$ 空间中，任意一组 $n$ 个向量 $\{\mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n\}$ 能够成为 $\mathbb{R}^n$ 的基。必须同时满足两个条件：

向量组的 Span 张成空间能覆盖整个空间：向量组的线性组合能代表空间里的每一个向量——“哪都能去”；
向量组向量间彼此Linearly independent 线性无关：它们之中没有冗余——“路线唯一”。

条件 1 - 张成整个空间

二维平面上任意一个向量，例如 $(3,-2)$ ，都能用 标准基 $\hat{\mathbf{i}}=(1,0)$ 、 $\hat{\mathbf{j}}=(0,1)$ 凑出来：

(3,-2) = 3\begin{bmatrix} 1\\ 0 \end{bmatrix} + (-2)\begin{bmatrix} 0\\ 1 \end{bmatrix}

不仅 $(3,-2)$ ，任何 $(x,y)$ 都可以用标准基表示。

不张成：取 $(1,2)$ 和 $(2,4)$ 作为基 ——注意 $(2,4)$ 是 $(1,2)$ 的 2 倍，两个向量在同一条直线上。不管怎么组合：

a\begin{bmatrix} 1\\ 2 \end{bmatrix} + b\begin{bmatrix} 2\\ 4 \end{bmatrix} = \begin{bmatrix} a+2b\\ 2a+4b \end{bmatrix}

看看结果的两个分量（元素）有什么关系：第二分量 $2a+4b = 2(a+2b)$ ，是第一分量的 2 倍。也就是说，无论输入是什么（ $a，b$ 取什么），输出的量： $\begin{bmatrix} a+2b\\ 2a+4b \end{bmatrix}$ ，第二个元素与第一个元素者成比例关系。把第一个元素记为 $x$ ，把第二个元素记为 $y$ ，把组合出来的点记作 $(x, y)$ ，那么不管 $x, y$ 怎么取，都有：

Standard Basis 标准基

Mon, 01 Jan 0001 00:00:00 +0000

Standard Basis 标准基

Standard Basis 标准基是搭建整个坐标空间的“基本骨架”。

如果我们把整个空间想象成一个用网格搭建起来的世界，那么标准基就是定义这个网格“朝哪走、走一步多远”的原始标尺。

在 $\mathbb{R}^3$ 这个空间中，三个最基础的"方向"：

\mathbf{e}_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \quad \mathbf{e}_2 = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \quad \mathbf{e}_3 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}

任何向量都可以由它们线性组合得到：

\begin{pmatrix} a \\ b \\ c \end{pmatrix} = a\mathbf{e}_1 + b\mathbf{e}_2 + c\mathbf{e}_3

区分：基 VS 标准基 VS 标准基向量

它们是是“从大到小”的包含关系：

基（Basis）：在 $n$ 维空间里，只要找 $n$ 个不共线/不在同一个超平面上的向量，就能当作坐标轴参照系，用来定位空间里的任何位置。（这就像你在地图上用任何两条不平行的路当作参照轴都能定位全城一样，所以空间的“基”有无数种选择——详见 Basis 基）。
标准基（Standard Basis）：在无数种“基”里，我们最习惯、最顺眼的那一组——直接沿着笛卡尔直角坐标系的坐标轴方向，而且每个向量长度都是 1。这就是大家默认选用的“标准基”（有的教材也叫自然基）。
标准基向量（Standard Basis Vector）：构成标准基集合里的每一个成员。

理解：为什么说坐标本质上就是“路线指南”？

在 $n$ 维空间 $\mathbb{R}^n$ 中，第 $i$ 个标准基向量记作 $\mathbf{e}_i$ 。它的特点非常朴素：除了第 $i$ 个位置是 1，其他地方全都是 0。

Normal Vector 法向量

Mon, 01 Jan 0001 00:00:00 +0000

Normal Vector 法向量

Normal Vector 法向量，就是垂直于某条直线、某个平面，或更高维空间中某个超平面的向量。

可以把它理解成一个“正对着表面”的方向：表面沿哪些方向延伸，法向量就不朝那些方向，而是与它们全部垂直。

Image 像

Mon, 01 Jan 0001 00:00:00 +0000

Image 像

Image 像 指的是一个向量。是一个 输入向量 经过线性变换 $T$ 后得到的一个输出向量。通俗的说，这是一个函数变换的结果。对于一个具体的向量 $\mathbf{v}$ ，它经过变换 $T$ 后得到 $T(\mathbf{v})$ ，因此：

$T(\mathbf{v})$ 是向量 $\mathbf{v}$ 在变换 $T$ 下的 Image 像

也可以用下面的形式直观地表示：

\boxed{\mathbf{v}\xrightarrow{T}T(\mathbf{v})}

定义

设

T:V\to W

是一个变换（规则），且

\mathbf v\in V

$T(\mathbf v)$ 为向量 $\mathbf v$ 在变换 $T$ 下的 Image 像。

Image Space 像空间

Mon, 01 Jan 0001 00:00:00 +0000

Image Space 像空间

$T(\mathbf{v})$ 指是向量 $\mathbf{v}$ 在变换 $T$ 下的 Image 像。也就是说：

\mathbf{v}\xrightarrow{T}T(\mathbf{v})

这里的 $T(\mathbf{v})$ 是一个具体的输出向量，也就是一个具体向量 $\mathbf{v}$ 的像。如果我们不只看一个具体的向量，而是让定义域 $V$ 中的所有向量都经过变换 $T$ ，会得到什么？

每一个输入向量都会得到一个对应的 Image（像）：

\mathbf{v}_1\xrightarrow{T}T(\mathbf{v}_1)

\mathbf{v}_2\xrightarrow{T}T(\mathbf{v}_2)

\mathbf{v}_3\xrightarrow{T}T(\mathbf{v}_3)

\cdots

这些所有可能得到的输出向量组成的集合 $\{v_1, v_2, v_3 \dots \}$ ，就是 $T$ 的 Image Space（像空间）。

定义

设 $T:V\to W$ 是一个线性变换。那么 $T$ 的 Image Space（像空间） 为：

\operatorname{Im}(T)=\{T(\mathbf{v})\mid\mathbf{v}\in V\}

读作：

所有形如 $T(\mathbf{v})$ 的向量，其中 $\mathbf{v}$ 取遍整个定义域 $V$ 。

区分：Image Space VS Image

一个向量的 Image（像）指的是，给定一个具体的向量 $\mathbf{v}\in V$ ：

\mathbf{v}\xrightarrow{T}T(\mathbf{v})

$T(\mathbf{v})$ 是一个具体的输出向量，也就是 $\mathbf{v}$ 的 Image（像）。

Image Space（像空间）指的是，让定义域 $V$ 中的所有向量经过 $T$ ，所有得到的像组成：

\operatorname{Im}(T)=\{T(\mathbf{v})\mid\mathbf{v}\in V\}

观点：可以用矩阵表示 Image Space 像空间

如果线性变换 $T$ 可以由矩阵 $A$ 表示：

T(\mathbf{x})=A\mathbf{x}

其中：

A\in\mathbb{R}^{m\times n}

那么：

T:\mathbb{R}^n\to\mathbb{R}^m

其 Image Space 像空间 为：

\operatorname{Im}(T) = \{A\mathbf{x}\mid\mathbf{x}\in\mathbb{R}^n\}

区分：Image Space 像空间 VS Column Space 列空间

如果线性变换 $T$ 可以用矩阵 $A$ 表示：

Preimage 原像

Mon, 01 Jan 0001 00:00:00 +0000

Preimage 原像

Preimage 原像，就是一个输出经过变换反向寻找时，能够得到这个输出的所有输入。它和 Image 像正好是观察同一个变换的两个方向：Image 从输入看输出，Preimage 从输出找输入。

如果 $T$ 是一个从输入空间 $V$ 到输出空间 $W$ 的变换，给定一个输出向量 $\mathbf y\in W$ ，那么我们关心的是：

哪些输入向量 $\mathbf x\in V$ ，经过 $T$ 后会得到 $\mathbf y$ ？

这些输入向量组成的集合，就是 $\mathbf y$ 在 $T$ 下的 Preimage（原像）。注意， $\mathbf y$ 本身是某个输入向量的 Image 像；现在我们把问题倒过来，寻找所有能产生它的输入。

定义

设 $T:V\to W$ ， $\mathbf y\in W$ 。 $\mathbf y$ 在 $T$ 下的原像定义为：

T^{-1}(\mathbf y)=\{\mathbf x\in V\mid T(\mathbf x)=\mathbf y\}

这里的 $T^{-1}(\mathbf y)$ 表示的是一个集合，不是说 $T$ 一定存在逆函数。为了避免和逆函数混淆，也常写成：

T^{-1}(\{\mathbf y\})

在线性变换中的原像

如果线性变换由矩阵 $A$ 表示：

T(\mathbf x)=A\mathbf x

那么 $\mathbf b$ 的原像就是所有满足下面方程的输入：

A\mathbf x=\mathbf b

因此，解线性方程组 $A\mathbf x=\mathbf b$ ，本质上就是在寻找 $\mathbf b$ 在变换 $A$ 下的原像。

例子：一个输出对应多个输入

考虑把平面压到 $x$ 轴上的变换：

A=\begin{bmatrix}1&0\\0&0\end{bmatrix},\qquad A\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}x\\0\end{pmatrix}

输出 $\mathbf b=\begin{pmatrix}2\\0\end{pmatrix}$ 的原像满足：

A\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}2\\0\end{pmatrix} \quad\Longrightarrow\quad x=2

所以原像不是一个输入，而是一整条直线：

T^{-1}(\mathbf b)=\left\{\begin{pmatrix}2\\y\end{pmatrix}\middle|y\in\mathbb R\right\}

这说明变换把许多不同的输入压到了同一个输出上。

原像有几种情况？

给定输出 $\mathbf b$ 后，原像可能有三种情况：

Identity Matrix 单位矩阵

Mon, 01 Jan 0001 00:00:00 +0000

Identity Matrix 单位矩阵

单位矩阵（ $Identity\ Matrix$ ）是矩阵世界里的数字 “ $1$ "。

数字 1 在乘法里的地位很特殊：任何数乘它都等于自己， $a \times 1 = a$ 。矩阵世界里扮演这个角色的，就是单位矩阵 $I$ 。

定义

单位矩阵是主对角线（左上到右下）上全是 $1$ 、其余位置全是 $0$ 的方阵：

I_2 = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}, \qquad I_3 = \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}, \qquad I_n = \begin{bmatrix} 1&&&\\ &1&&\\ &&\ddots&\\ &&&1 \end{bmatrix}

下标 $n$ 表示几阶，明确时直接写 $I$ 。有时也用 $E$ 表示。

代数视角：乘了等于没乘

任何一个向量乘上 $I$ ，结果原封不动：

Ix = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix} \begin{bmatrix} 3\\ 5 \end{bmatrix} = \begin{bmatrix} 1\times3+0\times5\\ 0\times3+1\times5 \end{bmatrix} = \begin{bmatrix} 3\\ 5 \end{bmatrix} = x

任何矩阵乘上 $I$ ，也原封不动：

Inverse Matrix 逆矩阵

Mon, 01 Jan 0001 00:00:00 +0000

Inverse Matrix 逆矩阵

逆矩阵（ $Inverse\ Matrix$ ）是"变换的逆问题"的数学化。

在矩阵笔记里埋过一个伏笔：

解方程 $Ax=b$ ，本质上就是问——“哪个向量 $x$ 经过变换 $A$ 之后，恰好落在 $b$ ？“解方程其实是变换的逆问题。

逆矩阵就是这句话的严格表达：如果 $A$ 是"执行变换”，那么 $A^{-1}$ 就是”撤销变换"；而 $Ax=b$ 的解，正是 $x = A^{-1}b$ 。

从数字的倒数说起

先看最熟悉的场景。解方程：

3x = 6

怎么解？两边除以 3，也就是乘以 3 的倒数：

x = \frac{1}{3} \cdot 6 = 2

倒数 $\frac{1}{3}$ 的本质是什么？是那个"和 3 相乘等于 1"的数：

3 \times \frac{1}{3} = 1

所以"除法"从来不是一种新运算，它就是"乘以倒数"。而倒数存在的前提只有一个：这个数不为 0。

矩阵世界里没有"除法"，但我们可以照搬这个思路：

能不能找到一个矩阵 $A^{-1}$ ，使得 $AA^{-1} = I$ ？

这里的 $I$ 就扮演着数字 “ $1$ ” 的角色。

单位矩阵 $I$ ：变换世界里的"1"

单位矩阵（identity matrix）是对角线上全是 1、其余全是 0 的方阵：

I = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}, \qquad I = \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}

用“列 = 基向量落点”的读法看： $I$ 的列就是 $\hat{\mathbf{i}}, \hat{\mathbf{j}}$ 原地不动。所以它代表的变换是——什么都不做：

Determinant 行列式

Mon, 01 Jan 0001 00:00:00 +0000

Determinant 行列式

Determinant 是英语中的多义词，作名词时指“决定性因素”或数学中的"行列式"，作形容词意为“决定性的”。

定义

数学中的"行列式"是方阵元素（ $n \times n$ 矩阵）的一个标量值函数。

一定要注意：从定义上来说，行列式是一个函数 $\det(X)$ ；对于一个具体方阵来说，算出来最终是一个数值。例如矩阵 $A$ ：

A= \begin{bmatrix} 2&3\\ 1&4 \end{bmatrix}

矩阵 $A$ 的行列式是：

\det(A) = 2 \times 4 - 3 \times 1 = 5

可以说：矩阵 $A$ 的行列式是 $5$ 。还可以这样写：

\det\begin{bmatrix} 2 & 3 \\ 1 & 4 \end{bmatrix} = \begin{vmatrix} 2 & 3 \\ 1 & 4 \end{vmatrix} = |A| = 5

类比：重要指标

行列式是矩阵中一个非常重要的标量指标，就像一个人的 BMI 一样：一个人的身体包含身高、体重、年龄、血压等大量信息，而 BMI 用一个数字对其中一部分重要特征进行高度概括；同样，一个矩阵包含大量元素和结构信息，而行列式将整个方阵映射为一个标量，用一个数字快速反映矩阵的一些核心性质，例如矩阵是否可逆，以及线性变换对面积、体积等尺度的缩放情况。

不过要注意一个关键点：BMI 不能代表一个人的全部身体状况，行列式也不能代表矩阵的全部信息。

区分：Matrix 矩阵 VS Determinant 行列式

Matrix（矩阵） → 是一个数字排列成的表格，具体的数字与形状
Determinant（行列式） → 是一个函数。讨论最终从某个方阵计算出来的一个数

作用 - 缩放倍数

一个 $n \times n$ 矩阵 $A$ 本质上代表一个线性变换：它把向量 $\mathbf{x}$ 映射为 $A\mathbf{x}$ 。行列式的绝对值，就是线性变换对任意区域（或基向量张成的平行多面体）体积 的缩放倍数；而行列式的正负号，则表示变换前后空间定向是否改变（正为同向，负为反向）。

Rank 秩

Mon, 01 Jan 0001 00:00:00 +0000

Rank 秩

问题的引入

假设方程：

\begin{cases} x + 2y + 3z = 6 \\ 2x + 4y + 6z = 12 \\ x + y + z = 3 \end{cases}

设系数矩阵 $A$ ：

A = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 1 & 1 & 1 \end{pmatrix}

想问一个问题：这个矩阵中到底有多少个“真正独立的信息”？ 这就是 秩（rank） 想要回答的问题。

从行的角度看：有多少个独立的约束？

从方程行的角度上看这 3 个方程：

第 2 个方程 = 2 × 第 1 个方程，第 2 行是第 1 行的倍数，因此没有提供新的独立约束；
第 3 个方程和第 1 个方程不成比例；
这三个方程实际上只有 2 个独立的约束。

也就是说，第 2 个方程是废话——它没有带来任何新信息。有没有第 2 个方程都不会影响对整个方程的求解。真正独立的方程只有 2 个。 所以：

Pivot 主元

Mon, 01 Jan 0001 00:00:00 +0000

Pivot 主元

主元（Pivot）是高斯消元得到的阶梯形矩阵中，每一个**非零行从左往右遇到的第一个非零数。

例如：

\begin{pmatrix} 1&2&3\\ 0&-1&-2\\ 0&0&0 \end{pmatrix}

从左往右观察每一行：

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

第一行的第一个非零数是 $1$ ，它是一个 Pivot；
第二行的第一个非零数是 $-1$ ，它是一个 Pivot；
第三行全是 $0$ ，没有 Pivot。

因此：

\boxed{\text{Pivot 的个数}=2}

定义

在行阶梯形矩阵（REF）中，每个非零行最左边的非零元素称为一个 Pivot（主元）。

作用

行独立的信息

Pivot 可以帮助我们判断：一个矩阵到底有多少个真正独立的信息

A= \begin{pmatrix} 1&2&3\\ 2&4&6\\ 1&1&1 \end{pmatrix}

第二行满足：

R_2=2R_1

且第三行确实与第一行不成倍数，所以最后有两个独立行。所以说第二行实际上是重复信息。

进行高斯消元后，可以看到两个 Pivot：

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

有两个 Pivot。这意味着这个矩阵中有：

\text{Pivot 的个数} = 真正独立的信息 = 独立行的数量 = 2

列独立的信息

\begin{pmatrix} \boxed{1}&2&3\\ 0&\boxed{-1}&-2\\ 0&0&0 \end{pmatrix}

Pivot 分别位于第 1、2 列，因此第 1、2 列称为 Pivot Columns（主元列）。称第 3 列是非主元列，因为：

Column Space 列空间

Mon, 01 Jan 0001 00:00:00 +0000

Column Space 列空间

Column Space 列空间是一个集合。它是系数矩阵的列向量组成的集合 $\{\mathbf v_1,\mathbf v_2 \dots \mathbf v_k\}$ 的 Span 张成空间。也就是说 Column Space 列空间 就是矩阵的所有列向量能够通过线性组合得到的所有向量组成的集合。假设系数矩阵：

A= \begin{bmatrix} | & | & & | \\ \mathbf v_1 & \mathbf v_2 & \dots & \mathbf v_k \\ | & | & & | \\ \end{bmatrix}

其中 $\mathbf v_1,\mathbf v_2 \dots \mathbf v_k$ 是 $A$ 的 $k$ 个列向量。那么系数矩阵 $A$ 的 Column Space 列空间 定义为：

\operatorname{Col}(A) = \operatorname{span}\{\mathbf v_1,\mathbf v_2,\mathbf v_3\}

展开就是：

Col(A)= \text{span}(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k) = \{\, c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k \mid c_1, c_2, \dots, c_k \in \mathbb{R} \,\}

我们也可以用像空间来表示：

深入理解：矩阵变换的几何意义

Mon, 01 Jan 0001 00:00:00 +0000

深入理解：矩阵变换的几何意义

用矩阵描述一张地图旋转 $90^\circ$

假设你正在开发一个地图或游戏系统。

地图上有一个玩家，原来的坐标是：

P=(2,3)

现在，我们把整个地图逆时针旋转 $90^\circ$ 。

我们的问题是：

玩家旋转之后的坐标是多少？为什么旋转矩阵的两列，就可以决定整个地图的变化？

第一步：先别管玩家，观察坐标系

把地图想象成一张坐标纸。

在二维坐标系中，我们有两个最基本的方向：

向右走一步：

\mathbf{i} = \begin{bmatrix} 1\\ 0 \end{bmatrix}

向上走一步：

\mathbf{j} = \begin{bmatrix} 0\\ 1 \end{bmatrix}

玩家的位置 $(2,3)$ ，其实并不神秘。

它真正表达的是：

P=2\mathbf{i}+3\mathbf{j}

也就是说：

从原点出发，沿着 $\mathbf{i}$ 方向走 $2$ 步，再沿着 $\mathbf{j}$ 方向走 $3$ 步。

因此：

\begin{bmatrix} 2\\ 3 \end{bmatrix} = 2 \begin{bmatrix} 1\\ 0 \end{bmatrix} + 3 \begin{bmatrix} 0\\ 1 \end{bmatrix}

第二步：把整个地图逆时针旋转 $90^\circ$

现在，我们把整个坐标系逆时针旋转 $90^\circ$ 。

这时候，我们其实不需要观察地图上的每一个点。

只需要观察两个最基本的方向。

问题 1：原来的向右方向去哪了？

原来的

\mathbf{i} = \begin{bmatrix} 1\\ 0 \end{bmatrix}

逆时针旋转 $90^\circ$ 后变成：

\mathbf{i}' = \begin{bmatrix} 0\\ 1 \end{bmatrix}

也就是：

\boxed{ \mathbf{i} \longrightarrow \begin{bmatrix} 0\\ 1 \end{bmatrix} }

问题 2：原来的向上方向去哪了？

原来的

Linear Transformation 线性变换

Mon, 01 Jan 0001 00:00:00 +0000

Linear Transformation 线性变换

Linear Transformation 线性变换 从几何直观上看指的是向量的 运动过程，这种在空间中的“运动”或“映射”的过程就像用手在空间中把一个向量箭头推到了另一个位置。

代数上可以把这个过程理解为：用函数 $T$ 表示一个线性变换（Linear Transformation）过程，矩阵 $A$ 可以看作一台线性变换的"变换机器"，即表示 输入一个向量，输出一个新的向量 的动作：

\mathbf x \xrightarrow{\quad T\quad} T(\mathbf x)

如果这个线性变换 $T$ 可以用矩阵 $A$ 表示，那么：

T(\mathbf x)=A\mathbf x

注意：不是所有的“输入→输出”都叫线性变换

“输入 → 输出”只说明这里有一个函数或映射，并不能说明它是线性的。所谓线性，是指这台“变换机器”不会破坏向量之间原有的线性组合关系：先把输入相加再变换，和先分别变换再相加，结果相同；输入乘一个倍数，输出也只会跟着乘同一个倍数。

严格地说，任意向量 $\mathbf u,\mathbf v$ 和标量 $c$ 都要满足：

T(\mathbf u+\mathbf v)=T(\mathbf u)+T(\mathbf v)

T(c\mathbf u)=cT(\mathbf u)

把这两条合在一起，也可以写成保持线性组合的形式：

T(c_1\mathbf u+c_2\mathbf v)=c_1T(\mathbf u)+c_2T(\mathbf v)

因此，线性变换一定会把零向量送到零向量： $T(\mathbf 0)=\mathbf 0$ 。例如，旋转、缩放、投影都满足这些规则，所以可以用矩阵乘法表示。相反，平移

T(\mathbf x)=A\mathbf x+\mathbf b\quad(\mathbf b\ne\mathbf 0)

虽然也是一种“输入 → 输出”的变换，但它会把原点移到 $\mathbf b$ ，不再满足 $T(\mathbf 0)=\mathbf 0$ ，所以叫 Affine Transformation 仿射变换，而不是线性变换。类似地， $T(x)=x^2$ 也会破坏加法关系，因此不是线性变换。

概念：用 Ax = y 描述线性变换的过程

A\mathbf x=\mathbf y

这个式子描述的是一个正向过程：输入向量 $\mathbf x$ 经过矩阵 $A$ 表示的线性变换，得到输出向量 $\mathbf y$ 。它只是把

T(\mathbf x)=A\mathbf x

中的变换结果另外记作 $\mathbf y$ 。

Linearly independent 线性无关

Mon, 01 Jan 0001 00:00:00 +0000

Linearly independent 线性无关

从向量的角度上看

向量 $v_1, v_2$

v_1=(1,0),\qquad v_2=(0,1)

不能互相表示。也就是说，我们如果想要构建：

c_1v_1 + c_2v_2 = 0

这个方程，只有： $c_1=c_2=0$ 这一组解的情况，因此称向量 $v_1, v_2$ 线性无关。

从向量-二维平面几何的角度上看

把向量画在二维平面上，“线性无关” 的几何含义是：两个向量不共线（不在同一条直线上）。

比如 $v_1=(2,1)$ 、 $v_2=(1,2)$ ： $v_1$ 无论怎样缩放（ $c_1v_1$ ），都只能躺在自己所在的那条直线 $\operatorname{span}(v_1)$ 上，永远够不到 $v_2$ 。所以想让 $c_1v_1+c_2v_2=0$ ，两个向量只能各自缩回原点，即只有 $c_1=c_2=0$ 这一组解 —— $v_1,v_2$ 线性无关。

相反， $w_1=(1,1)$ 、 $w_2=(2,2)$ 躺在同一条直线上（ $w_2=2w_1$ ），那么 $2w_1-w_2=0$ 就是一组非零解 —— $w_1,w_2$ 线性相关：

几何上的直觉：

线性无关 = 每个向量都带来一个"新的方向"。两个不共线的向量可以拼出（张成）整个平面上的任意向量；
线性相关 = 存在"多余的"向量，它没有带来新方向。两个共线的向量无论怎么组合，都只能在那一条直线上打转，张不成平面。

从系数矩阵的角度看

设方程组系数矩阵 $A$

A= \begin{pmatrix} 1&0&0\\ 0&1&0\\ 1&1&0 \end{pmatrix}

$r_i$ 为 $A$ 的行向量，且：

r_3=r_1+r_2

我们说:

$r_1、r_2$ 线性无关；
$r_1、r_3$ 线性无关；
$r_2、r_3$ 线性无关；
$r_3$ 没有增加新的“独立方向”，它可以由 $r_1,r_2$ 表示； $r_1、r_2、r_3$ 线性相关；
因此 最多只有 2 个线性无关的行向量。也可以说方程组的的秩= 2

最多只有 2 个线性无关的行向量 指的是：

可以有很多组线性无关的组合，但每一组最多只能包含 2 个向量。因为这里有三种选择： $\{r_1,r_2\},\{r_1,r_3\},\{r_2,r_3\}$ ，每个选择都是（最多）2 个彼此线性无关的行向量。你无法找到一个包含 3 个向量的线性无关组。

Linearly dependent 线性相关

Mon, 01 Jan 0001 00:00:00 +0000

Linearly dependent 线性相关

从向量的角度上看

向量 $w_1, w_2$

w_1=(1,1),\qquad w_2=(2,2)

可以互相表示： $w_2=2w_1$ 。也就是说，我们如果想要构建：

c_1w_1 + c_2w_2 = 0

这个方程，除了 $c_1=c_2=0$ 之外，还存在其它解，比如：

2w_1 - w_2 = 0 \qquad (c_1=2,\ c_2=-1)

因此称向量 $w_1, w_2$ 线性相关。

和 Linearly independent 线性无关正好互为反面：

线性无关： $c_1v_1+c_2v_2=0$ 只有零解；
线性相关： $c_1v_1+c_2v_2=0$ 除了零解，还有非零解。

从向量-二维平面几何的角度上看

把向量画在二维平面上，“线性相关” 的几何含义是：至少有一个向量是"多余的"，它没有带来新的方向。

两种典型情况：

两个向量共线： $w_2=2w_1$ ，两个向量躺在同一条直线上，无论怎么组合都只能在那条线上打转；
平面上任意 3 个向量必然线性相关：平面只有 2 个独立方向，第 3 个向量一定能由前两个拼出来，比如 $v_3=v_1+v_2$ （ $v_1+v_2-v_3=0$ 就是一组非零解）。

推广到一般情形： $n$ 维空间中，任意多于 $n$ 个向量必然线性相关 —— 空间的独立方向一共只有 $n$ 个，多出来的向量一定能被表示。

从系数矩阵的角度看

Linearly independent 线性无关里的系数矩阵就是一个线性相关的例子：

A= \begin{pmatrix} 1&0&0\\ 0&1&0\\ 1&1&0 \end{pmatrix}

因为 $r_3=r_1+r_2$ ，所以：

r_1+r_2-r_3=0

方程 $c_1r_1+c_2r_2+c_3r_3=0$ 有非零解 $(1,1,-1)$ ，因此 $r_1,r_2,r_3$ 线性相关。

换句话说，线性相关说明行向量里有"水分"——真正独立的行向量比总行数少。结合 Rank 秩的定义：

\boxed{\text{行向量线性相关}\iff \operatorname{rank}(A) < \text{行向量的个数 } m}

对应地： $\text{行向量线性无关}\iff \operatorname{rank}(A) = m$ （秩满，也称 行满秩）。

Change of Basis 基变换

Mon, 01 Jan 0001 00:00:00 +0000

Change of Basis 基变换

Change of Basis 基变换，就是利用线性变换，把一个向量从一套基的表达方式，转换成另一套基的表达方式。

概念：基矩阵

任何一个向量都可以看作是单位向量的组合，也就是说在 Standard Basis 标准基组成的线性空间中，任何一个向量都可以看作是标准基的线性组合。如果采用一个新基，那么这个新基也可以用标准基来表示，也就是说新基 $\{\mathbf b_1,\ldots,\mathbf b_n\}$ 集合中，中任意一个基向量 $b_i$ ，可以通过标准基的线性变换得到, 定义这个变换的过程为 $P$ :

P=\begin{bmatrix}\mathbf b_1&\mathbf b_2&\cdots&\mathbf b_n\end{bmatrix}

因为根据矩阵乘法的列提取法则：

P⋅e_i=(取 P 的第 i 列)=b_i

我们称 P 为基矩阵。此矩阵描述的就是输入单位向量转化成新基向量的过程。

假设在一个线性空间中有一个向量 $v$ , 它在旧基下坐标是 $y$ ，在新基下坐标是 $x$ 。因为新旧基都能表示同一个向量 $v$ ：

v =（旧基）⋅ y =（新基）⋅x

因为旧基是标准基，矩阵形式就是单位矩阵 $I$ ，所以：

I · y = P · x

即：

y = P · x

也就是说，新基下的坐标通过 $P$ 基矩阵的变换可以得到旧基下的坐标。

运算：从新基坐标换回旧基坐标

基变换的核心公式就是 $[\mathbf v]_E=P[\mathbf v]_B$ 。

例如，旧基 $E$ 是标准基，新基为：

\mathbf b_1=\begin{pmatrix}1\\1\end{pmatrix},\qquad \mathbf b_2=\begin{pmatrix}1\\-1\end{pmatrix},\qquad P=\begin{bmatrix}1&1\\1&-1\end{bmatrix}

若新基中的一个向量为 $[\mathbf v]_B=\begin{pmatrix}2\\1\end{pmatrix}$ ，则旧基下这个向量为：

区分：Ax = b VS Ax = y

Mon, 01 Jan 0001 00:00:00 +0000

区分：Ax = b VS Ax = y

1. 代数形式上的“同”与“异”

在纯矩阵乘法的层面上，两者完全一致，都表示矩阵 $A$ 乘以向量 $x$ 等于另一个向量。其根本区别在于数学角色与求解动机：

$Ax = b$ （解方程视角）
- 角色： $x$ 是未知数， $b$ 是给定的常数向量（目标值）。
- 目标：反向推导，求出未知向量 $x$ 。
- 数学本质：线性方程组的求解问题。
- 表达式示例：

Ax = b \quad (\text{已知 } A, b \text{，求 } x)

$Ax = y$ （映射视角）
- 角色： $x$ 是输入向量， $y$ 是输出向量（结果值）。
- 目标：正向计算，分析向量 $x$ 在变换 $A$ 作用下产生的效果，或直接求出 $y$ 。
- 数学本质：线性变换的显式定义。
- 表达式示例：

Ax = y \quad (\text{已知 } A, x \text{，求 } y)

⚠️ 易混淆陷阱：如果题目明确写着“已知 $A$ 和 $y$ ，求 $x$ ”，那么 $Ax = y$ 在代数求解上完全退化为 $Ax = b$ （只是把字母 $b$ 换成了 $y$ ）。此时两者无区别。

2. 核心问题：它属于“线性变换”吗？

结论： $T(x)=Ax$ 是线性变换的矩阵表示；当把输出记作 $y$ 时， $Ax=y$ 表示正向应用。 $Ax=b$ 则通常表示给定输出、反向寻找输入。

Linear Algebra 线性代数 on 线性代数

Linear System 线性系统

Linear System 线性系统

线性系统的规律 可预测、可拆解

线性系统的 零输入 → 零输出

Homogeneity 同质

Homogeneity 同质

1. 生活中的 “Homogeneity” 意为 均质、同质

2. 数学线性系统里的 “Homogeneity”

反例 1: 出租车计价器

反例 2: 快被拉断的橡皮筋

Vector Set 向量集

Vector Set 向量集

定义

例子：只有 4 个元素的向量集

例子：有无限多个元素的向量集

区分：Vector Set 向量集 VS Span 张成空间

n-dimensional real space n维实数空间(Rn)

n-dimensional real space n维实数空间(Rn)

R1\mathbb R^1：数轴

R2\mathbb R^2：二维平面

R3\mathbb R^3：三维空间

一般形式：Rn\mathbb R^n

Span 张成空间

Span 张成空间

属性-一定包含零向量

属性-张成空间的维数

Basis 基

Basis 基

条件: 成为Rn\mathbb{R}^n基

条件 1 - 张成整个空间

Standard Basis 标准基

Standard Basis 标准基

区分：基 VS 标准基 VS 标准基向量

理解：为什么说坐标本质上就是“路线指南”？

Normal Vector 法向量

Normal Vector 法向量

Image 像

Image 像

定义

Image Space 像空间

Image Space 像空间

定义

区分：Image Space VS Image

观点：可以用矩阵表示 Image Space 像空间

区分：Image Space 像空间 VS Column Space 列空间

Preimage 原像

Preimage 原像

定义

在线性变换中的原像

例子：一个输出对应多个输入

原像有几种情况？

Identity Matrix 单位矩阵

Identity Matrix 单位矩阵

定义

代数视角：乘了等于没乘

Inverse Matrix 逆矩阵

Inverse Matrix 逆矩阵

从数字的倒数说起

单位矩阵 II：变换世界里的"1"

Determinant 行列式

Determinant 行列式

定义

类比：重要指标

区分：Matrix 矩阵 VS Determinant 行列式

作用 - 缩放倍数

Rank 秩

Rank 秩

问题的引入

从行的角度看：有多少个独立的约束？

Pivot 主元

Pivot 主元

定义

作用

行独立的信息

列独立的信息

Column Space 列空间

Column Space 列空间

深入理解：矩阵变换的几何意义

深入理解：矩阵变换的几何意义

线性系统的规律可预测、可拆解

线性系统的零输入 → 零输出

1. 生活中的 “Homogeneity” 意为均质、同质

$\mathbb R^1$ ：数轴

$\mathbb R^2$ ：二维平面

$\mathbb R^3$ ：三维空间

一般形式： $\mathbb R^n$

条件: 成为 $\mathbb{R}^n$ 基

单位矩阵 $I$ ：变换世界里的"1"

用矩阵描述一张地图旋转 $90^\circ$

第二步：把整个地图逆时针旋转 $90^\circ$