Vector 向量 on 线性代数

Vector Set 向量集

Mon, 01 Jan 0001 00:00:00 +0000

Vector Set 向量集

Vector Set 向量集，就是把若干个向量放在一起形成的集合。它只说明“哪些向量属于这一组”，并没有自动保证这些向量可以相加、缩放，或者组成一个向量空间。

可以把它理解成一个候选输入/输出的清单：集合中的每一个元素都是一个向量，集合本身则规定了哪些向量允许被取出来。

定义

一个向量集通常写成集合符号：

S=\{\mathbf v_1,\mathbf v_2,\ldots,\mathbf v_k\}

例子：只有 4 个元素的向量集

一个具体的有限向量集是：

S=\left\{ \begin{bmatrix}1\\2\\3\end{bmatrix}, \begin{bmatrix}4\\5\\6\end{bmatrix}, \begin{bmatrix}6\\8\\9\end{bmatrix}, \begin{bmatrix}9\\0\\2\end{bmatrix} \right\}

它是一个包含 4 个三维向量 的有限集合。这里的逗号是在列举成员，不表示要把这些向量相加。

例子：有无限多个元素的向量集

考虑下面的集合：

L=\left\{ \begin{bmatrix}x_1\\x_2\end{bmatrix} :x_1+x_2=1 \right\}

这里 $x_1,x_2$ 可以取遍满足条件的所有实数，因此集合中有无限多个向量。例如：

\begin{bmatrix}0\\1\end{bmatrix},\quad \begin{bmatrix}1\\0\end{bmatrix},\quad \begin{bmatrix}0.3\\0.7\end{bmatrix},\quad \begin{bmatrix}0.7\\0.3\end{bmatrix}\in L

把 $x_2=1-x_1$ 代入后，条件变成：

\begin{bmatrix}x_1\\x_2\end{bmatrix} =\begin{bmatrix}t\\1-t\end{bmatrix},\quad t\in\mathbb R

所以 $L$ 在平面上是一条直线 $x_1+x_2=1$ 。改变参数 $t$ ，就得到这条直线上的不同向量。

区分：Vector Set 向量集 VS Span 张成空间

Vector Set 向量集：直接列出或描述“有哪些成员”。集合中的向量可以彼此没有关系。
Span 张成空间：先给定若干向量，再让系数取遍所有实数，收集它们所有的线性组合：

\operatorname{span}(\mathbf v_1,\ldots,\mathbf v_k) =\{c_1\mathbf v_1+\cdots+c_k\mathbf v_k\mid c_i\in\mathbb R\}

Span 一定包含零向量（令所有 $c_i=0$ ），并且是一个子空间；普通的向量集则不一定。

例如：

\left\{\begin{bmatrix}1\\0\end{bmatrix},\begin{bmatrix}0\\1\end{bmatrix}\right\}

只是两个向量组成的集合，而

\operatorname{span}\left(\begin{bmatrix}1\\0\end{bmatrix},\begin{bmatrix}0\\1\end{bmatrix}\right)=\mathbb R^2

是由它们生成的、包含无限多个向量的整个平面。

n-dimensional real space n维实数空间(Rn)

Mon, 01 Jan 0001 00:00:00 +0000

n-dimensional real space n维实数空间(Rn)

$\mathbb R^n$ n-dimensional real space n 维实数空间是一个Vector Set 向量集。可以理解成：由 $n$ 个实数组成的所有向量的集合。

在这个集合中，每个元素是一个向量，有无限多个向量。每个向量的Component是一个实数，有N个Component。

这里的符号分别表示：

$\mathbb R$ ：实数集合（Real numbers）；
$n$ ：向量的维度，也就是Component 分量的个数；
$\mathbb R^n$ ：所有 $n$ 维实向量组成的空间。

$\mathbb R^1$ ：数轴

\mathbb R^1=\{x\mid x\in\mathbb R\}

它的每个元素只有一个分量，可以看作普通的数轴。

$\mathbb R^2$ ：二维平面

\mathbb R^2= \left\{ \begin{bmatrix}x_1\\x_2\end{bmatrix} \middle|x_1,x_2\in\mathbb R \right\}

例如：

\begin{bmatrix}3\\5\end{bmatrix}\in\mathbb R^2

每个元素有两个分量，所以 $\mathbb R^2$ 就是熟悉的二维平面。

$\mathbb R^3$ ：三维空间

\mathbb R^3= \left\{ \begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix} \middle|x_1,x_2,x_3\in\mathbb R \right\}

例如：

\begin{bmatrix}2\\-1\\7\end{bmatrix}\in\mathbb R^3

它可以表示三维空间中的一个向量。

一般形式： $\mathbb R^n$

\mathbb R^n= \left\{ \begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix} \middle|x_i\in\mathbb R\right\}

也就是说，一个元素 $\mathbf x\in\mathbb R^n$ 长这样：

\mathbf x=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}

其中每一个 $x_i$ 都是实数； $i$ 从 $1$ 变化到 $n$ ，表示向量的第 $i$ 个分量。

Span 张成空间

Mon, 01 Jan 0001 00:00:00 +0000

Span 张成空间

Span（张成空间） 是一个向量集合。描述的是给定几个向量，只用"缩放再相加"（线性组合）这一种手段，总共能到达哪些地方（组成的新的向量的集合）。

我们说向量 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k$ 的 span 是：

\text{span}(\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k) = \{\, c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k \mid c_1, c_2, \dots, c_k \in \mathbb{R} \,\}

读法：系数 $c_1, \dots, c_k$ 取遍所有实数时，所有可能的输出组成的集合。

属性-一定包含零向量

Span 总是包含零向量。只要把所有线性组合的系数都取为 $0$ ：

c_1=c_2=\cdots=c_k=0

就有：

0\mathbf v_1+0\mathbf v_2+\cdots+0\mathbf v_k=\mathbf 0

因此：

\mathbf 0\in\operatorname{span}(\mathbf v_1,\ldots,\mathbf v_k)

这也是为什么由 Span 得到的直线或平面一定经过原点。

属性-张成空间的维数

Span 的维数表示给定的几个向量中实际“独立方向”的个数，也就是 Rank 秩。也就是这组向量中线性无关向量的最大个数。（定义 A/B）

例如： $v1=(1,0,0),v2=(0,1,0),v3=(1,1,0)$ 虽然给了 3 个向量，但 $v3=v1+v2$ ，线性相关；独立向量只有 2 个（v1 和 v2）；span(v1,v2,v3) 是实际的维数是2。

特别地，在方程的系数矩阵中，我们形容列(或行)向量的张成空间的维数 为 Rank 秩。这也是秩的定义之一：

Basis 基

Mon, 01 Jan 0001 00:00:00 +0000

Basis 基

Basis 基 是一个向量组。能作为 $\mathbb{R}^n$ 向量空间的一组参照系：用它们做"走步方向"，空间里任何一个向量都能被唯一地表示出来。 $\mathbb{R}^n$ 空间中的基正好包含 $n$ 个向量。

条件: 成为 $\mathbb{R}^n$ 基

不是 $\mathbb{R}^n$ 空间中，任意一组 $n$ 个向量 $\{\mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n\}$ 能够成为 $\mathbb{R}^n$ 的基。必须同时满足两个条件：

向量组的 Span 张成空间能覆盖整个空间：向量组的线性组合能代表空间里的每一个向量——“哪都能去”；
向量组向量间彼此Linearly independent 线性无关：它们之中没有冗余——“路线唯一”。

条件 1 - 张成整个空间

二维平面上任意一个向量，例如 $(3,-2)$ ，都能用 标准基 $\hat{\mathbf{i}}=(1,0)$ 、 $\hat{\mathbf{j}}=(0,1)$ 凑出来：

(3,-2) = 3\begin{bmatrix} 1\\ 0 \end{bmatrix} + (-2)\begin{bmatrix} 0\\ 1 \end{bmatrix}

不仅 $(3,-2)$ ，任何 $(x,y)$ 都可以用标准基表示。

不张成：取 $(1,2)$ 和 $(2,4)$ 作为基 ——注意 $(2,4)$ 是 $(1,2)$ 的 2 倍，两个向量在同一条直线上。不管怎么组合：

a\begin{bmatrix} 1\\ 2 \end{bmatrix} + b\begin{bmatrix} 2\\ 4 \end{bmatrix} = \begin{bmatrix} a+2b\\ 2a+4b \end{bmatrix}

看看结果的两个分量（元素）有什么关系：第二分量 $2a+4b = 2(a+2b)$ ，是第一分量的 2 倍。也就是说，无论输入是什么（ $a，b$ 取什么），输出的量： $\begin{bmatrix} a+2b\\ 2a+4b \end{bmatrix}$ ，第二个元素与第一个元素者成比例关系。把第一个元素记为 $x$ ，把第二个元素记为 $y$ ，把组合出来的点记作 $(x, y)$ ，那么不管 $x, y$ 怎么取，都有：

Standard Basis 标准基

Mon, 01 Jan 0001 00:00:00 +0000

Standard Basis 标准基

Standard Basis 标准基是搭建整个坐标空间的“基本骨架”。

如果我们把整个空间想象成一个用网格搭建起来的世界，那么标准基就是定义这个网格“朝哪走、走一步多远”的原始标尺。

在 $\mathbb{R}^3$ 这个空间中，三个最基础的"方向"：

\mathbf{e}_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \quad \mathbf{e}_2 = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \quad \mathbf{e}_3 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}

任何向量都可以由它们线性组合得到：

\begin{pmatrix} a \\ b \\ c \end{pmatrix} = a\mathbf{e}_1 + b\mathbf{e}_2 + c\mathbf{e}_3

区分：基 VS 标准基 VS 标准基向量

它们是是“从大到小”的包含关系：

基（Basis）：在 $n$ 维空间里，只要找 $n$ 个不共线/不在同一个超平面上的向量，就能当作坐标轴参照系，用来定位空间里的任何位置。（这就像你在地图上用任何两条不平行的路当作参照轴都能定位全城一样，所以空间的“基”有无数种选择——详见 Basis 基）。
标准基（Standard Basis）：在无数种“基”里，我们最习惯、最顺眼的那一组——直接沿着笛卡尔直角坐标系的坐标轴方向，而且每个向量长度都是 1。这就是大家默认选用的“标准基”（有的教材也叫自然基）。
标准基向量（Standard Basis Vector）：构成标准基集合里的每一个成员。

理解：为什么说坐标本质上就是“路线指南”？

在 $n$ 维空间 $\mathbb{R}^n$ 中，第 $i$ 个标准基向量记作 $\mathbf{e}_i$ 。它的特点非常朴素：除了第 $i$ 个位置是 1，其他地方全都是 0。

Normal Vector 法向量

Mon, 01 Jan 0001 00:00:00 +0000

Normal Vector 法向量

Normal Vector 法向量，就是垂直于某条直线、某个平面，或更高维空间中某个超平面的向量。

可以把它理解成一个“正对着表面”的方向：表面沿哪些方向延伸，法向量就不朝那些方向，而是与它们全部垂直。

Image 像

Mon, 01 Jan 0001 00:00:00 +0000

Image 像

Image 像 指的是一个向量。是一个 输入向量 经过线性变换 $T$ 后得到的一个输出向量。通俗的说，这是一个函数变换的结果。对于一个具体的向量 $\mathbf{v}$ ，它经过变换 $T$ 后得到 $T(\mathbf{v})$ ，因此：

$T(\mathbf{v})$ 是向量 $\mathbf{v}$ 在变换 $T$ 下的 Image 像

也可以用下面的形式直观地表示：

\boxed{\mathbf{v}\xrightarrow{T}T(\mathbf{v})}

定义

设

T:V\to W

是一个变换（规则），且

\mathbf v\in V

$T(\mathbf v)$ 为向量 $\mathbf v$ 在变换 $T$ 下的 Image 像。

Image Space 像空间

Mon, 01 Jan 0001 00:00:00 +0000

Image Space 像空间

$T(\mathbf{v})$ 指是向量 $\mathbf{v}$ 在变换 $T$ 下的 Image 像。也就是说：

\mathbf{v}\xrightarrow{T}T(\mathbf{v})

这里的 $T(\mathbf{v})$ 是一个具体的输出向量，也就是一个具体向量 $\mathbf{v}$ 的像。如果我们不只看一个具体的向量，而是让定义域 $V$ 中的所有向量都经过变换 $T$ ，会得到什么？

每一个输入向量都会得到一个对应的 Image（像）：

\mathbf{v}_1\xrightarrow{T}T(\mathbf{v}_1)

\mathbf{v}_2\xrightarrow{T}T(\mathbf{v}_2)

\mathbf{v}_3\xrightarrow{T}T(\mathbf{v}_3)

\cdots

这些所有可能得到的输出向量组成的集合 $\{v_1, v_2, v_3 \dots \}$ ，就是 $T$ 的 Image Space（像空间）。

定义

设 $T:V\to W$ 是一个线性变换。那么 $T$ 的 Image Space（像空间） 为：

\operatorname{Im}(T)=\{T(\mathbf{v})\mid\mathbf{v}\in V\}

读作：

所有形如 $T(\mathbf{v})$ 的向量，其中 $\mathbf{v}$ 取遍整个定义域 $V$ 。

区分：Image Space VS Image

一个向量的 Image（像）指的是，给定一个具体的向量 $\mathbf{v}\in V$ ：

\mathbf{v}\xrightarrow{T}T(\mathbf{v})

$T(\mathbf{v})$ 是一个具体的输出向量，也就是 $\mathbf{v}$ 的 Image（像）。

Image Space（像空间）指的是，让定义域 $V$ 中的所有向量经过 $T$ ，所有得到的像组成：

\operatorname{Im}(T)=\{T(\mathbf{v})\mid\mathbf{v}\in V\}

观点：可以用矩阵表示 Image Space 像空间

如果线性变换 $T$ 可以由矩阵 $A$ 表示：

T(\mathbf{x})=A\mathbf{x}

其中：

A\in\mathbb{R}^{m\times n}

那么：

T:\mathbb{R}^n\to\mathbb{R}^m

其 Image Space 像空间 为：

\operatorname{Im}(T) = \{A\mathbf{x}\mid\mathbf{x}\in\mathbb{R}^n\}

区分：Image Space 像空间 VS Column Space 列空间

如果线性变换 $T$ 可以用矩阵 $A$ 表示：

Preimage 原像

Mon, 01 Jan 0001 00:00:00 +0000

Preimage 原像

Preimage 原像，就是一个输出经过变换反向寻找时，能够得到这个输出的所有输入。它和 Image 像正好是观察同一个变换的两个方向：Image 从输入看输出，Preimage 从输出找输入。

如果 $T$ 是一个从输入空间 $V$ 到输出空间 $W$ 的变换，给定一个输出向量 $\mathbf y\in W$ ，那么我们关心的是：

哪些输入向量 $\mathbf x\in V$ ，经过 $T$ 后会得到 $\mathbf y$ ？

这些输入向量组成的集合，就是 $\mathbf y$ 在 $T$ 下的 Preimage（原像）。注意， $\mathbf y$ 本身是某个输入向量的 Image 像；现在我们把问题倒过来，寻找所有能产生它的输入。

定义

设 $T:V\to W$ ， $\mathbf y\in W$ 。 $\mathbf y$ 在 $T$ 下的原像定义为：

T^{-1}(\mathbf y)=\{\mathbf x\in V\mid T(\mathbf x)=\mathbf y\}

这里的 $T^{-1}(\mathbf y)$ 表示的是一个集合，不是说 $T$ 一定存在逆函数。为了避免和逆函数混淆，也常写成：

T^{-1}(\{\mathbf y\})

在线性变换中的原像

如果线性变换由矩阵 $A$ 表示：

T(\mathbf x)=A\mathbf x

那么 $\mathbf b$ 的原像就是所有满足下面方程的输入：

A\mathbf x=\mathbf b

因此，解线性方程组 $A\mathbf x=\mathbf b$ ，本质上就是在寻找 $\mathbf b$ 在变换 $A$ 下的原像。

例子：一个输出对应多个输入

考虑把平面压到 $x$ 轴上的变换：

A=\begin{bmatrix}1&0\\0&0\end{bmatrix},\qquad A\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}x\\0\end{pmatrix}

输出 $\mathbf b=\begin{pmatrix}2\\0\end{pmatrix}$ 的原像满足：

A\begin{pmatrix}x\\y\end{pmatrix}=\begin{pmatrix}2\\0\end{pmatrix} \quad\Longrightarrow\quad x=2

所以原像不是一个输入，而是一整条直线：

T^{-1}(\mathbf b)=\left\{\begin{pmatrix}2\\y\end{pmatrix}\middle|y\in\mathbb R\right\}

这说明变换把许多不同的输入压到了同一个输出上。

原像有几种情况？

给定输出 $\mathbf b$ 后，原像可能有三种情况：

Vector 向量 on 线性代数

Vector Set 向量集

Vector Set 向量集

定义

例子：只有 4 个元素的向量集

例子：有无限多个元素的向量集

区分：Vector Set 向量集 VS Span 张成空间

n-dimensional real space n维实数空间(Rn)

n-dimensional real space n维实数空间(Rn)

R1\mathbb R^1：数轴

R2\mathbb R^2：二维平面

R3\mathbb R^3：三维空间

一般形式：Rn\mathbb R^n

Span 张成空间

Span 张成空间

属性-一定包含零向量

属性-张成空间的维数

Basis 基

Basis 基

条件: 成为Rn\mathbb{R}^n基

条件 1 - 张成整个空间

Standard Basis 标准基

Standard Basis 标准基

区分：基 VS 标准基 VS 标准基向量

理解：为什么说坐标本质上就是“路线指南”？

Normal Vector 法向量

Normal Vector 法向量

Image 像

Image 像

定义

Image Space 像空间

Image Space 像空间

定义

区分：Image Space VS Image

观点：可以用矩阵表示 Image Space 像空间

区分：Image Space 像空间 VS Column Space 列空间

Preimage 原像

Preimage 原像

定义

在线性变换中的原像

例子：一个输出对应多个输入

原像有几种情况？

$\mathbb R^1$ ：数轴

$\mathbb R^2$ ：二维平面

$\mathbb R^3$ ：三维空间

一般形式： $\mathbb R^n$

条件: 成为 $\mathbb{R}^n$ 基