Vector 向量

Vector 向量 最基本的形式，就是一组有顺序的元素（数字）。

在线性代数中，向量表示向量空间（线性空间）中的元素。

向量可以看作矩阵的特例，这是现代线性代数的标准观点。

观点：数学中的向量

在数学中，向量指的是一组有序数字 a set of numbers：

$v_i$ 指向量的某个 component，$v_1=1，v_2=2$。

如果一个向量的 component 个数小于4个，是可以在平面上画（想象）出来的，例如：在经典的笛卡尔坐标系中，可以用 $\mathbf{v}=(1,2,3)$，表示空间中的一个坐标点 或 一个有方向、长度的 箭头（矢量）。

在系数矩阵中，可以用 $\mathbf{v}=(1,2,3)$，表示矩阵中的一个列向量（在约定下，默认视为列向量，因为数学上括号本身没有方向性）。$\mathbf{v}^T=(1,2,3)$，表示矩阵中的一个行向量，用角标 $T$ 表示形式上要把这个向量从 竖向 转为横向。

属性-维度

维度就是向量中数字的个数。比如：

有 3 个数字，所以说它是一个 三维向量。我们还可以进一步解释说，这是一个 $\mathbf{v} \in \mathbb{R}^3$（读作"向量 v 属于三维实数空间"）。这个向量也可以书写成：

一般来说，含有 $n$ 个数字的向量就是 $n$ 维向量，记作 $\mathbf{v} \in \mathbb{R}^n$。$n$ 维向量 最常用来表示空间的坐标，所以又会被解释成为 $n$ 维空间。

属性-长度

向量的 $norm$ 长度（也叫模、范数，）用 $\|\mathbf{v}\|$ 表示，计算方式是把每个分量平方、相加、再开根号：

之所以会被叫作长度是因为求取的过程在二维空间下就是勾股定理的计算过程。二维向量 $(x, y)$ 的长度是:

三维向量的长度就是 $\sqrt{x^2+y^2+z^2}$，依此类推。 $n$ 维：

也可以写成：

高维空间中已经看不出勾股定理的几何意义了，但其作为一个量又是客观存在的。

属性-单位向量

长度为 1 的向量称为 unit vector 单位向量，它表示纯粹的方向。

任何一个非零向量都可以"剥离"长度、只留下方向，得到一个单位向量——做法是除以自己的长度，这一步过程叫normalize 归一化：

单位向量常用"帽子"记号 $\hat{\mathbf{v}}$ 表示。比如 $(3,4)$，长度是 $\sqrt{3^2+4^2}=5$，每个分量除以 $5$，单位向量为：

反过来，任何向量都可以拆成"长度 $\cdot$ 方向“两部分：

最常用的单位向量是三个坐标轴方向的 标准基向量：

任何三维向量都能写成它们的组合：$\mathbf{v} = (1,2,3) = 1\hat{\mathbf{i}} + 2\hat{\mathbf{j}} + 3\hat{\mathbf{k}}$。

观点：同一个空间下的向量都可以看作是另一个非零向量的线性变换的结果

同一空间中，给定任意非零向量 $\mathbf u$ 和任意目标向量 $\mathbf v$，必定存在一个线性变换 $T$（也就是一个矩阵 $A$ ），使得：

观点：向量可以看作矩阵的特例

向量 可以看作矩阵的特例，这是现代线性代数的标准观点。

一个矩阵如果只有一行（$1 \times n$）或只有一列（$n \times 1$），因其仅具有单一方向，即可被视为向量。其中，竖排的称为列向量（column vector），横排的称为行向量（row vector）：

• $n×1$矩阵 就是 列向量（column vector）
• $1×n$ 矩阵 就是 行向量（row vector）

所以，我们常把一个矩阵的行向量 $\mathbf{a}^T$，与 参数向量 $\mathbf{b}$（也就是$Ax$中的$x$） 进行 点积 运算：

因为：

数值上：$[32]=32$，日常使用中完全等价，没有人会纠结这个差别。

运算-加法

两个同维向量相加，就是对应位置上的数字分别相加：

结果仍然是一个同维的向量。

运算-标量乘法

一个普通的数字（叫标量，scalar）乘以一个向量，就是把这个数字乘到向量的每一个分量上。分量在这里指的就是向量中的每个元素：

标量乘法的效果是缩放向量：乘以 2 长度变为原来的 2 倍，乘以负数还会让方向反过来。

运算-点积  ⭐️⭐️⭐️⭐️⭐️

Dot Product 点积，又称内积（Inner Product）或标量积（Scalar Product），是两个相同维度向量之间的一种运算，结果是一个标量（数）。

代数运算：定义

设 $a,b∈R^n$ 是两个 $n$ 维向量：

它们的点积定义为对应分量相乘后求和：

例如：

注意 ⚠️

• 运算的结果 不再是向量，而是一个 标量
• 参与运算的两个向量必须是相同的维度（向量中元素的个数一致）

几何运算：投影

点积有一个重要的几何形式：

其中 $\theta$ 是两个向量的夹角。这说明 点积 实际上在度量两个向量 考虑了彼此长度与方向后的整体一致性 ：

• $\|\mathbf{a}\| \, \|\mathbf{b}\|$ 值越大，表示 $a,b$ 这两向量本来的长度就越大
• $\theta = 90°$ 时点积为 $0$ , 垂直
• $\theta < 90°$, 点积为正，说明两个向量的方向夹角小于90°（在同一个半空间内）
• $\theta > 90°$, 点积为负，说明夹角大于90°

公式 $\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \, \|\mathbf{b}\| \cos\theta$ 可以拆成两部分来读：

也就是说：点积” 是一个向量 $\mathbf{a}$ 落在另一个向量 $\mathbf{b}$ 上的投影长度 " 乘 " $\mathbf{b}$ 的长度"——先量一量 $\mathbf{a}$ 有多少"成分"落在 $\mathbf{b}$ 的方向上，再按 $\mathbf{b}$ 的个头放大。

二维空间的例子

取 $\mathbf{a}=(2,2)$、$\mathbf{b}=(3,0)$（沿 x 轴）：

• 代数运算：$\mathbf{a}\cdot\mathbf{b} = 2\times3 + 2\times0 = 6$
• 几何运算：$\mathbf{a}$ 指向 45° 方向，它"投在 x 轴上的影子"长度是 $2$（恰好是 $\mathbf{a}$ 的 x 分量），乘上 $\mathbf{b}$ 的长度 $3$，得 $2 \times 3 = 6$

两种算法结果一致——点积的代数运算和几何运算过程说的是同一件事。

图中：蓝色的 $\mathbf{a}=(2,2)$ 被"垂直照"到 $\mathbf{b}$（x 轴方向）上，红色的影子就是投影——长度 $2$（虚线垂直落下，带直角标记）。点积 $\mathbf{a}\cdot\mathbf{b}$ 就是这个影子长度 $2$ 乘上 $\mathbf{b}$ 的长度 $3$，得 $6$。

思考🤔：为什么结果不在这个图片中表示出来？

标量没有几何形状，向量才有：点积的结果是一个标量——一个纯粹的数字，没有方向、没有位置，在坐标系里"无箭可画"。图里能画出来的只是它的两个零件：投影长度 $2$（红箭头）和 $\mathbf{b}$ 的长度 $3$（绿箭头）。

三维空间的例子

空间里任意两个向量 $\mathbf{a}, \mathbf{b}$ 一定同在某个过原点的平面内（两条相交直线确定一个平面），所以三维里"夹角"和"投影"的画面跟二维完全一样，只是这个平面可能斜在空间里。

取 $\mathbf{a}=(1,2,3)$、$\mathbf{b}=(0,0,5)$（沿 z 轴）：

恰好是"$\mathbf{a}$ 在 z 轴上的投影长度 $3$" 乘 “$\mathbf{b}$ 的长度 $5$"。

一个很有用的特例：$\mathbf{b}$ 是单位向量时，$\|\mathbf{b}\|=1$，点积就纯粹是投影长度：

这解释了"坐标"是怎么算出来的：向量 $\mathbf{v}=(3,1,2)$ 与标准基向量 $\hat{\mathbf{i}}=(1,0,0)$ 做点积：

结果正是 $\mathbf{v}$ 的 x 分量——坐标本质上就是向量在各个基方向上的投影长度。这和 Basis 基 里"坐标是路线指南"的说法，是同一件事的两种表述。

作用：比较两个向量谁更契合目标

假设有一个目标向量 $\mathbf a$，现在要比较候选向量 $\mathbf b$ 和 $\mathbf c$。这时不能直接套公式，必须先问：我要比较综合影响，还是只比较方向？

因为点积同时受到两个因素影响：

• $\cos\theta$ 越大，表示方向越接近；
• $\|\mathbf b\|$ 越大，点积也可能越大，即使方向并不更接近。

因此，向量模长可能造成“模长作弊”：一个向量只是更长，却在原始点积比较中占了优势。

|

这就是为什么机器学习中的文本相似度通常使用 Cosine Similarity（余弦相似度），而不是直接比较点积：文本向量的长度可能表示文本数量、频率或模型置信度，不一定代表语义方向更接近。

作用：判断两向量是否垂直（正交）

垂直的判断完全不用算角度——由 $\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \, \|\mathbf{b}\| \cos\theta$，$\theta = 90°$ 时 $\cos\theta = 0$，所以：

两个向量垂直时也叫正交（orthogonal）。判断一次垂直只需要 $n$ 次乘法加法，连长度都不用算。比如：

一眼看出这两个向量垂直。这个性质在后面非常重要：如果一组基两两正交（正交基），坐标之间互不干扰，计算会简单得多；机器学习里"特征不相关"“注意力里的正交初始化"都和它有关。

作用：计算夹角

把几何形式倒过来用，就得到夹角公式：

比如 $\mathbf{a}=(2,2)$、$\mathbf{b}=(3,0)$：点积 $=6$，$\|\mathbf{a}\|=2\sqrt{2}$，$\|\mathbf{b}\|=3$，所以：

和前面的几何画面一致（$(2,2)$ 本来就指向 45° 方向）。

注意这个公式的右边——正是下文"计算机科学中的向量"里的余弦相似度。所以"余弦相似度"不是什么新东西，它就是"两个向量的夹角余弦”：方向越一致（$\theta$ 越小），值越接近 $1$；垂直为 $0$；相反为 $-1$。

作用：向量投影

点积不光能算"投影长度”，还能算出投影向量本身——$\mathbf{a}$ 投到 $\mathbf{b}$ 方向上的那个"影子向量"，记作 $\text{proj}_{\mathbf{b}}\,\mathbf{a}$：

思路就是"长度 × 方向"：投影长度前面已经会算了（$\mathbf{a}\cdot\hat{\mathbf{b}}$），再乘上 $\mathbf{b}$ 方向的单位向量，影子向量就出来了。

比如 $\mathbf{a}=(2,2)$ 投到 $\mathbf{b}=(3,0)$ 上：

几何上完全合理：$(2,2)$ 在 x 轴上的影子就是 $(2,0)$。投影是后面最小二乘法和正交分解（把一个向量拆成"沿某方向的分量 + 垂直分量"）的基本零件。

观点：点积的本质是一个标量

点积的结果是一个标量（数），不是坐标系中的一个点或向量。它回答的是：候选向量在目标向量方向上，贡献了多少带方向的投影？

设目标向量为 $\mathbf a$，候选向量为 $\mathbf x$：

其中 $\theta$ 是两向量的夹角。可以这样理解：

• 点积为正：$\mathbf x$ 在 $\mathbf a$ 方向上有同向分量；
• 点积为零：$\mathbf x$ 在 $\mathbf a$ 方向上没有分量，即 $\mathbf x\perp\mathbf a$；
• 点积为负：$\mathbf x$ 有反向分量。

当目标向量 $\mathbf a$ 固定，并且把点积固定为某个数 $k$ 时，所有满足

的候选向量终点会落在一条垂直于 $\mathbf a$ 的直线上（在更高维空间中则是一个超平面）。这是一条“点积等值线”，不是点积本身变成了几何直线。

以 $\mathbf a=(2,2)$、$k=6$ 为例：

因此 $(1,2)$、$(2,1)$、$(0,3)$ 等所有终点都在同一条直线 $x+y=3$ 上；它们虽然方向和长度不同，但与 $\mathbf a$ 的点积相同。

这张图里，蓝色箭头是固定的目标向量 $\mathbf a$，绿色箭头是不同的候选向量。它们的箭头终点都落在灰色虚线（等值线）$x+y=3$ 上，所以与 $\mathbf a$ 的点积都等于 $6$。注意：灰色虚线不是法向量；它是一条直线，而蓝色向量 $\mathbf a$ 才是这条直线的Normal Vector 法向量。

为什么等值线一定垂直于 $\mathbf a$？

先看图中的具体例子：

这条等值线的方向是什么？沿着直线走一步，可以让 $x$ 增加 $1$、$y$ 减少 $1$，所以它的方向向量可以取：

现在计算它和目标向量的点积：

点积为 $0$，说明 $(1,-1)$ 与 $(2,2)$ 垂直。因此，等值线 $x+y=3$ 的方向与 $\mathbf a$ 垂直。这里的灰色虚线是“线”，不能称为一个法向量；准确说法是：$\mathbf a$ 是这条线的法向量。

观点：内积的上限，就是两个向量模的乘积

两个向量的内积（点积）可以写成：

其中 $\theta$ 是两个向量的夹角。因为：

所以内积一定满足：

这就是 Cauchy–Schwarz Inequality（柯西-施瓦茨不等式）。它的核心意思是：

内积的绝对值不可能超过两个向量模长的乘积。

什么时候达到上限？

当两个向量方向完全相同，即 $\theta=0^\circ$、$\cos\theta=1$ 时，内积达到上限：

例如：

它们同向，因此：

而：

两者正好相等。

下限与垂直

当两个向量方向完全相反，即 $\theta=180^\circ$ 时，内积达到下限：

当两个向量垂直时，$\theta=90^\circ$，内积为 $0$。因此，内积的正负和大小可以同时反映方向关系：同向为正，垂直为零，反向为负；越接近同向，内积越接近上限。

运算-叉积

叉积（$cross product$）是三维向量特有的运算，结果是一个向量，而不是标量：

一般地，对于 $\mathbf{a}=(a_1,a_2,a_3)$ 和 $\mathbf{b}=(b_1,b_2,b_3)$：

叉积的几何意义

叉积结果的几何意义，可以拆成方向和长度两件事来理解。

方向：垂直于 a、b 所在的平面

$\mathbf{a} \times \mathbf{b}$ 垂直于 $\mathbf{a}$ 和 $\mathbf{b}$ 张成的那张平面（这样的向量叫 Normal Vector 法向量），具体指向由右手定则决定，大拇指的指向就是结果方向。

最简单的例子：x 轴 叉 y 轴 = z 轴。

交换顺序后 $\hat{\mathbf{j}} \times \hat{\mathbf{i}} = -\hat{\mathbf{k}}$，方向掉转——所以叉积不满足交换律：$\mathbf{a} \times \mathbf{b} = -(\mathbf{b} \times \mathbf{a})$。

$\mathbf{a}$、$\mathbf{b}$ 一旦确定一张平面，三维空间里"和这张平面垂直"是唯一不含糊的新方向（算上正反一共两个，右手定则再确定一个）。这个性质非常实用：已知平面上两个向量，叉积立刻给出平面的朝向——3D 图形学算光照、物理算力矩都靠它。

长度：$\mathbf{a}$、$\mathbf{b}$ 张成的平行四边形面积

把 $\|\mathbf{a}\|$ 看作平行四边形的底，那么 $\|\mathbf{b}\|\sin\theta$ 就是高（$\mathbf{b}$ 在垂直于 $\mathbf{a}$ 方向上的分量），底 × 高正好是平行四边形的面积。也就是说，$\mathbf{v}$ 的模等于 $\mathbf{a}$、$\mathbf{b}$ 组成的平行四边形的面积大小。

例子：把叉积的结果画出来

$\mathbf{a}=(2,0,0)$、$\mathbf{b}=(1,2,0)$ 都在 xy 平面上：

• 长度：$\|\mathbf{v}\|=4$——以 $\mathbf{a}$ 为底（长 $2$）、$\mathbf{b}$ 的高是 $2$（y 分量），面积 $2\times2=4$
• 方向：$+z$ 轴，确实垂直于 xy 平面

把结果画在三维坐标系里：$\mathbf{a}$、$\mathbf{b}$ 张成的蓝色平行四边形躺在 xy 平面上，红色的 $\mathbf{a} \times \mathbf{b}$ 从原点沿 $+z$ 轴"竖"起来，长度 $4$ 正好是蓝色平行四边形的面积：

换个视角：从 z 轴正上方往下看。 下面这张动图把镜头从斜视角"倒"到俯视——3D 场景逐渐躺平成 xy 平面图，红色的 $\mathbf{a} \times \mathbf{b}$ 缩成一个点（用 ⊙ 表示"垂直冲出纸面"）：

从这个角度看，右手定则变得一目了然：从 $\mathbf{a}$ 转向 $\mathbf{b}$ 是逆时针（绿色弧线），右手四指跟着逆时针弯，大拇指指向自己——也就是 $+z$、冲出纸面。

区分： 叉积 VS 行列式

叉积和 行列式 看着是两个东西，其实度量的是同一个量——平行四边形的（带正负号的）面积。

先看二维行列式。 取两个二维向量 $\mathbf{a}=(1,2)$、$\mathbf{b}=(3,1)$，拼成矩阵求行列式：

绝对值 $5$ 是它们张成的平行四边形面积；正负号携带的是"顺逆"信息：这里是负的，因为从 $\mathbf{a}$ 转向 $\mathbf{b}$ 是顺时针（$\mathbf{b}$ 在 $\mathbf{a}$ 的右侧）。

再把同样两个向量垫进三维的 xy 平面里做叉积：$\mathbf{a}=(1,2,0)$、$\mathbf{b}=(3,1,0)$：

结果的 x、y 分量都是 $0$（向量必然垂直于 xy 平面），唯一非零的 z 分量正好就是那个二维行列式。正负号在这里还有了几何化身：z 分量为负，意味着结果指向 $-z$——用右手从 $\mathbf{a}$ 顺时针弯向 $\mathbf{b}$，大拇指自然朝下。

所以两者的关系是：

二维行列式 = 把向量垫进三维做叉积后的 z 分量。 行列式用一个带符号的数，同时打包了"面积多大"和"谁顺谁逆"两个信息；叉积则把它升级成一个三维向量——长度是面积，指向用右手定则编码了顺逆。

更深一层：回头看叉积的公式，它的每个分量本身就是一个 2×2 行列式：

——叉积就是"在三张坐标平面上的投影面积"拼成的向量。Determinant 行列式 那篇笔记里的面积图，说的正是这件事。

区分： 叉积 VS 点积

点积和叉积像一对互补的工具——点积回答"两个方向有多像"，叉积回答"两个方向有多岔"。

怎么记？$\cos\theta$ 在 $\theta=0°$（完全同向）时最大，所以点积量"一致性"；$\sin\theta$ 在 $\theta=90°$（岔得最开）时最大，所以叉积量"岔开程度"。

“等于零"的判断场景正好互补：想检查两个向量是否垂直，算点积；想检查是否平行（也就是线性相关），算叉积。

概念：列向量 & 行向量

一个 $n$ 维向量写成竖排，就是一个 $n \times 1$ 的矩阵（叫列向量，column vector）；写成横排 $\mathbf{v}^T$，就是一个 $1 \times n$ 的矩阵（叫行向量，row vector）。

观点：物理学中的向量

在物理学中，向量是既有大小、又有方向的物理量，通常画成一支带箭头的有向线段：箭头的长度表示大小，指向表示方向。

典型的向量：位移、速度、加速度、力。作为对照，温度、质量、能量这类只有大小没有方向的量，就是标量。

选定坐标系之后，这支箭头就能写成一组有序的数字——这正是数学中向量的样子。比如一个力在空间中可以写成：

所以数学向量和物理向量是同一个对象的两种看法：一个用数字表示，一个用箭头表示。

前面介绍的向量运算，在物理中都有直接的对应：

• 向量加法 → 矢量的合成。两个力同时作用在一个物体上，合力用平行四边形法则（或三角形法则）求出，这正是对应分量相加。位移的叠加同理：先向东走 3 km 再向北走 4 km，总位移是两个位移向量之和。
• 标量乘法 → 缩放。力变为原来的 2 倍、方向不变，就是 $2\mathbf{F}$；速度反向就是 $-\mathbf{v}$。
• 点积 → 做功。力 $\mathbf{F}$ 推动物体产生位移 $\mathbf{s}$，所做的功为：

只有沿位移方向的分量才做功——力的方向与位移垂直时（$\theta=90°$），点积为 0，不做功。比如提着箱子水平走路，向上的提力对箱子不做功。

• 叉积 → 力矩。用扳手拧螺母时，力矩（转动的效果）为：

其中 $\mathbf{r}$ 是从转轴到施力点的位矢。力矩的方向沿转轴（由右手定则确定），大小 $\|\mathbf{r}\|\,\|\mathbf{F}\|\sin\theta$ 说明：力越垂直于扳手、扳手越长，转动效果越强；沿扳手方向推拉（$\theta=0°$）则完全拧不动。

• 单位向量 → 大小与方向的分离。物理量常常要分开讨论"有多大"和"朝哪去”，单位向量正好承担"方向"的角色：

读作"力 = 大小 × 方向"。坐标轴方向的单位向量 $\hat{\mathbf{i}}, \hat{\mathbf{j}}, \hat{\mathbf{k}}$（也写作 $\hat{\mathbf{x}}, \hat{\mathbf{y}}, \hat{\mathbf{z}}$）更是无处不在——“沿 $x$ 轴正方向"说的就是 $\hat{\mathbf{i}}$。

物理中还有一个重要习惯：把向量平移到任何位置都视为同一个向量——只要大小和方向不变。所以力的示意图里，箭头画在哪只是示意，起作用的是它的大小和方向本身。

观点：计算机科学中的向量

在计算机科学中，向量就是一段连续存储的数字数组（一维数组、列表），比如 Python 中的：

v = [1, 2, 3]   # 一个三维向量

这里向量不再有"箭头"的直观形象，它就是一条数据记录：每个分量是一个特征（feature）的取值。比如用向量描述一套房子：

维度可以非常高——机器学习中的词向量（embedding）动辄几百上千维，每个词、每张图片、每个用户都被压缩成一个向量。

前面的运算在这里同样有直接的对应：

• 向量加法 → 特征的叠加。词向量的经典例子：

减法和加法在向量的"语义空间"里对应着概念的组合。

• 点积 → 相似度。两个向量的点积（配合长度归一化，即余弦相似度）衡量两条数据"有多像”：

推荐系统用它找"和你口味相近的用户"，搜索引擎用它找"和查询最相关的文档"，大模型的注意力机制（attention）本质上也是大量点积运算。

• 长度 → 归一化。比较相似度时只关心方向、不关心长度，所以常把向量除以自己的模，变成单位向量：

归一化之后，余弦相似度就退化为单位向量的点积：$\hat{\mathbf{a}} \cdot \hat{\mathbf{b}} = \cos\theta$，计算更省、含义更纯粹——点积本身就是方向的一致性。工程上常把 embedding 提前归一化存好，之后查询时只需做矩阵乘法。

• 标量乘法 → 加权。给某个特征调整权重，就是给向量乘上一个标量。

可以这样总结三个学科的视角：数学家看到数字，物理学家看到箭头，计算机科学家看到数组——但它们遵守同一套运算规则，这正是向量这个抽象对象的威力。