Linear Equations 线性方程组

Linear Equations 线性方程组，就是同时处理多个线性关系的问题。把这些关系整理在一起，可以用矩阵形式写成：

• $A$：已知的系数矩阵，也可以看作一台变换机器；
• $\mathbf x$：未知的输入向量；
• $\mathbf b$：已知的目标输出向量。

这个方程组是在表达：已知变换规则 $A$ 和目标输出 $\mathbf b$，寻找哪些输入 $\mathbf x$ 能产生它。 也可以说解 $A\mathbf x=\mathbf b$，就是寻找 $\mathbf b$ 在变换 $A$ 下的 Preimage 原像：

动机：为什么要写成矩阵形式？

例如：

可以整理成：

也就是 $A\mathbf x=\mathbf b$。矩阵形式让我们可以用统一的运算处理多个方程，并进一步研究列空间、零空间和秩。

观点：解是一个原像集合

给定 $\mathbf b$ 后，原像可能有三种情况：

• 无解：$\mathbf b$ 不在 $A$ 的 Image Space 像空间（也就是列空间）中；
• 唯一解：只有一个输入 $\mathbf x$ 能得到 $\mathbf b$；
• 无穷多解：多个输入都能得到同一个 $\mathbf b$。

// TODO 啥意思？？？ 如果 $\mathbf x_0$ 是一个特解，那么所有解可以写成：

也就是说，通解 = 一个特解 + 零空间中的任意向量。零空间描述的是那些经过 $A$ 后会被压成零的输入方向。

区分：$A\mathbf x=\mathbf b$ 与 $A\mathbf x=\mathbf y$

$A\mathbf x=\mathbf y$ 通常强调线性变换的正向过程：已知输入 $\mathbf x$，计算输出 $\mathbf y$。

$A\mathbf x=\mathbf b$ 通常强调线性方程组的逆向求解：已知目标输出 $\mathbf b$，寻找输入 $\mathbf x$。

两个式子的乘法完全相同，$\mathbf y$ 和 $\mathbf b$ 只是不同语境下对输出向量的命名。更完整的比较可参阅 区分：Ax = b VS Ax = y；正向过程见 Linear Transformation 线性变换。

运算：如何求解？

常见方法包括：

• 高斯消元：通过初等行变换把方程组化简；
• 逆矩阵：当 $A$ 可逆时，$\mathbf x=A^{-1}\mathbf b$。

任何线性方程组，都可以看作是某种"基 & 坐标" 的问题

在 $A$ 为可逆方阵、其列向量构成一组基的情况下，解方程 $A\mathbf x=\mathbf b$，本质上就是在问：“标准基下的坐标 $\mathbf b$，翻译成这组新基下的坐标，究竟是多少？” 而矩阵 $A$，正是从新基坐标 $\mathbf x$ 翻译到标准基坐标 $\mathbf b$ 的翻译器。对于一般的非方阵或不可逆矩阵，更准确的说法是：判断 $\mathbf b$ 能否由 $A$ 的列向量线性组合得到，并求出所有组合系数。

把矩阵 A 按列分块：

把 A 的列向量看作新基的"方向"和"尺度"，把 $b$ 看作是标准基下的位置：

这意味着：

• 在新基下，你走 $(x_1, x_2, \dots, x_n)$ 步
• 在标准基下，你恰好到达 b 这个位置

因此，当这些列向量构成一组基时，$A$ 可以看作从新基坐标到标准基坐标的坐标变换矩阵。$\mathbf x$ 是目标向量在新基下的坐标，$\mathbf b$ 是同一向量在标准基下的坐标；$A$ 负责把前一种坐标翻译成后一种坐标。

• 新基——在数学上叫“输入空间的基”**
• 标准基下的位置 b——在数学上叫“输出空间（列空间）的坐标”**
• 矩阵 A 作为“桥梁&翻译器**”——在数学上被称为“从抽象空间到标准坐标空间的坐标表示映射（Coordinate Representation）”

这可以拆成四个部分来理解：

• 列向量 $\mathbf a_i$：第 $i$ 个新基向量在标准坐标下的表示；
• $\mathbf x$：目标向量在新基下的坐标，也就是各个方向要走多少步；
• $\mathbf b$：同一目标向量在标准基下的坐标；
• 矩阵 $A$：把新基坐标翻译成标准基坐标的桥梁。

当 $A$ 是可逆方阵时，这些列向量线性无关并且张成整个空间，确实构成一组新基。此时可以反向翻译：

$A^{-1}$ 的作用正好相反：输入向量在标准基下的坐标 $\mathbf b$，输出它在新基下的坐标 $\mathbf x$。因此，$A$ 与 $A^{-1}$ 描述的是同一组坐标之间的正向与反向转换。

推广：从任意旧基切换到任意新基

前面的标准基只是一个特殊情况：标准基的基矩阵是单位矩阵 $I$。现在把它推广为两组都可能不同的基。关于“基向量、坐标和基矩阵”的基础概念，见 Basis 基。

设旧基为 $\mathcal B=(\mathbf b_1,\ldots,\mathbf b_n)$，新基为 $\mathcal A=(\mathbf a_1,\ldots,\mathbf a_n)$，并分别用基矩阵表示：

同一个向量 $\mathbf v$ 在两组基下的坐标可能不同。记

其中 $\mathbf y$ 是旧基坐标，$\mathbf x$ 是新基坐标。由于它们表示的是同一个向量，有：

当 $A$、$B$ 都是可逆方阵时，可以分别得到两种方向的坐标变换：

因此，从旧基坐标切换到新基坐标的矩阵是 $A^{-1}B$；反向切换则使用 $B^{-1}A$。若旧基就是标准基，则 $B=I$，公式退化为熟悉的 $\mathbf x=A^{-1}\mathbf v$。

这就是常见的 Change of Basis 基变换 背后的坐标逻辑：矩阵乘法像是在不同“语言（基）”之间翻译坐标。若同一个线性变换在旧基下的矩阵记为 $M$，而 $P$ 是从新基坐标到旧基坐标的基矩阵，那么它在新基下的矩阵就是：