机器学习

Chapter 0. 概念

• 人工智能：能够处理⼀般需要⼈类知识和智⼒介⼊任务的计算机系统；

• 机器学习：从若⼲输⼊输出样例中学习数据规律的统计技术。按照 Tom Mitchell 的定义是从经验中自动改进系统性能的程序。经验常以数据的方式呈现，因此实践上机器学习为数据分析提供了主要工具。

  深度学习：⼀种⾃动学习数据表征的机器学习技术；

  机器学习是一种人工智能技术，使机器能够在无需显式人工编程的情况下，通过从数据中自动发现潜在的统计规律（模型），并不断优化自身性能（优化），以实现特定的目标（如最小化损失函数）。

  本质上是通过优化方法挖掘数据中规律。

  早期人们根据一些思想提出了不同的优化算法，如最近邻模型、决策树模型、贝叶斯模型、线性模型、多层神经网络模型。

  而在 2012 年左右，人们提出了一类新的结构化的多层神经网络模型，学习效果显著。因此为区别传统的模型，使用这一类深层神经网络模型的机器学习方法被称为深度学习。

  而数据表示的 “经验 / 规律” 可以包含不同的信息形态，其中比较关键的是关于模型表现的反馈信息。按照反馈信息的不同，机器学习经典划分为下面三大类：

我们现在就会发现，深度学习和强化学习的概念是重叠的。前者强调通过多层神经网络模型的方式达到机器学习的效果；后者强调 学习的环境、学习的方式，因此后者可以利用前者的思想/算法来达到目的（如 “深度强化学习”）。

机器学习 4 要素：

• 数据（经验）

• 模型（假设）

• 损失函数（目标）

• 优化算法（提升）

机器学习分类：

• 监督学习：学习器的每个输入样本都有一个目标输出标签。或者说处理包含有模型正确输出值的数据，即有标记数据。

  目标：学习函数映射；

  如分类问题、回归问题、目标检测、语义分割等；

  例如例如图像识别数据中，每一张图像都有相应分类标记；

  • 监督学习的两个前提：

    1. 输入的测试集（标注的数据）都应是没有关联的，满足独立同分布；

    2. 每个测试集都有明确的正误标签。学习机（learner）可以通过正确或错误的信息来修正预测；

• 无监督学习：Training examples as input patterns, with no associated output. 数据中完全没有关于模型输出好坏的客观评估。这时通常会人为的设置某种学习目标，以开展学习；

  目标：学习数据隐含或潜在的结构；

  如聚类、降维和特征选择、数据的概率密度估计、数据⽣成、异常检测；

  例如把 256 维人脸照片压缩到 4 维，此时并没有任何关于这 4 维应该如何的信息，一种做法是使得这 4 维能够还原出 256 维的人脸，这就是一种人为设定的目标；

• 强化学习：通过与环境交互来学习。处理的数据仅包含有模型打分值，而不知道模型到底应该输出什么（环境很复杂）。因此只能靠算法去不断的探索，寻找打分值最高的模型输出；

  目标：学习状态(states)到动作(actions)的映射，以最大化长期奖励(reward)。

  例如围棋游戏，缺乏每一步走棋的最佳指导，只能通过最终的输赢作为打分，自主探索寻找最佳模型；

数据归一化：

• Z-score normalization: rescale the data so that the mean is 0 and the standard deviation is 1.（数据集归一化为均值为 0、标准差为 1）：$x^{\prime }={\displaystyle \frac{x-\mu }{\sigma }}$$x^\prime=\dfrac{x-\mu}{\sigma}$；

• Min-max normalization: scale the data to a fixed range of [0, 1].（将数据集映射到 $[0,1]$$[0,1]$ 区间）：$x^{\prime }={\displaystyle \frac{x-minx}{maxx-minx}}$$x^\prime=\dfrac{x-\min x}{\max x-\min x}$；

泛化性与过拟合：模型应该学习普遍的规律还是记住特定细节？

• 欠拟合：因模型不够复杂无法刻画真实规律，模型假设可能不成立；

• 过拟合：因模型过于复杂导致记住数据的细节(如随机噪声)而不是潜在的规律；

• 避免过拟合；就是选择合理复杂度的模型。常见避免过拟合的方法：

  • 增加训练数据；

  • 正则化 (惩罚模型复杂度)；

  • 数据划分 & 交叉验证 (训练时用未知数据测试确保泛化能力)；

  • 早停；

    

  • 引入先验知识 (如贝叶斯先验)；

  • ……

Chapter 1. 线性回归

考虑监督学习中的 “回归问题”。

目的：通过大量观察，回归到统计数据的真实情况。

定义：A function that describe the relationship between one dependent variable and a series of other (independent) variables.

应用：预测、归因分析、控制；

模型核心：简单的线性函数 $f(x)=w^{T}x+b$$f(x)=w^Tx+b$；

训练过程：根据数据误差估算合适的 $w,b$$w,b$；

预测过程：根据输入的新数据计算回归值。

损失函数：对于完整数据集 $D$$D$ 和权重初值 $w_0$$w_0$，使用均方误差（MSE），$L(w|w_0,D)={\displaystyle \frac{1}{2N}}\sum _{l=1}^N(r^{(l)}-y^{(l)}{)}^2$$L(w|w_0,D)=\dfrac{1}{2N}\sum\limits_{l=1}^N(r^{(l)}-y^{(l)})^2$；

r 为预测值，y 为 ground truth；

训练优化：梯度下降。目标：$w^{\star }=\text{argmin}L(w)$$w^\star=\text{argmin}L(w)$，迭代步骤：$w_{t+1}=w_t-\alpha {\mathrm{\nabla }}_{w}L(w)$$w_{t+1}=w_{t}-\alpha\nabla_wL(w)$；

结论：计算解析梯度可知，$w_{t+1}=w_t+{\displaystyle \frac{1}{N}}\sum _{l=1}^N(r^{(l)}-y^{(l)})x^{(l)}$$w_{t+1}=w_{t}+\dfrac{1}{N}\sum\limits_{l=1}^N(r^{(l)}-y^{(l)})x^{(l)}$；

预测值 $y=Xw$$y=Xw$，损失函数：$L(w)={\displaystyle \frac{1}{2}}(r-Xw{)}^T(r-Xw)$$L(w)=\dfrac{1}{2}(r-Xw)^T(r-Xw)$；

梯度 ${\mathrm{\nabla }}_{w}L(w)=-X^T(r-Xw)$$\nabla_wL(w)=-X^T(r-Xw)$；最优参数 $w^{\star }=(X^{T}X{)}^{-1}{X}^{T}r$$w^\star=(X^TX)^{-1}X^Tr$；

代入预测值：$y=X(X^{T}X{)}^{-1}{X}^{T}r$$y=X(X^TX)^{-1}X^Tr$；

Chapter 2. 决策树 & 随机森林

再考虑监督学习中的 “分类问题”。

如何构建决策树？

1. 构造一个根节点，包含整个数据集；

2. 选择一个最合适的属性，根据选择属性的不同取值，将当前节点的样本划分成若干子集；

3. 对每个划分后的子集创建一个孩子节点，并将子集的数据传给该孩子节点；

4. 递归重复 2~3 直到满足停止条件；

按照不同划分顺序，同一数据可以构建多种不同的树。

如何高效率地构建决策树？选择每个属性 X 的时候，尽可能最大化标签 Y 的纯度。

决策树将数据逐步分割成越来越小的子集。最理想的情况是叶节点对应的样本属于同一类别(节点的标签纯净)。

如何选择属性以最大化标签的纯度？选择 X 以最大化 信息增益、Gini 系数等（每⼀种指标对应⼀种决策树构造算法）。常见算法如 ID3、CART、C4.5 等等。

• ID3 算法。划分属性使最大化信息增益 (Information Gain)

  • 试着对每个属性进行划分，看看哪个划分效果“最好”，评价标准为样本的整体信息熵的降低程度。

  • $IG=H(D)-H(D|A)$$IG=H(D)-H(D|A)$（按 A 分类前-按 A 分类后），值越大效果越好。

  • 停止划分条件：纯度（叶结点样本属于同一类）、数据量过小（叶结点样本数少于阈值）、没有属性可分。

  • 优点：易理解, 可解释性, 便于可视化分析；数据预处理要求低,可以轻易处理非线性边界；数据驱动，可以以任意精度拟合训练集。

  • 缺点：容易过拟合，某些噪声样例总能被树涵盖并学习。

随机森林。将数据随机划分子集，各自构建决策树，将结果合并。

• 往往比决策树更准确；

• 训练速度快, 容易并行化 (训练时树与树之间是相互独立的)；

• 可以处理高维数据，并且不用做特征选择 (因为特征子集是随机选择的)；

• 可以处理缺失属性；

• 结果易解释 (i.e.,在训练完后，能够给出哪些feature比较重要)；

• 在训练过程中，能够检测到feature间的互相影响；

• 对于不平衡的数据集来说，它可以平衡误差；

Chapter 3. 贝叶斯分类 (朴素贝叶斯网络)

考虑从概率学角度解决分类问题。

$P(C_i|x)={\displaystyle \frac{P(x|C_i)P(C_i)}{P(x)}}$$P(C_i|x)=\dfrac{P(x|C_i)P(C_i)}{P(x)}$：先验概率 $P(C_i)$$P(C_i)$，统计可能性 $P(x|C_i)$$P(x|C_i)$，$P(x)=\sum P(x|C_i)P(C_i)$$P(x)=\sum P(x|C_i)P(C_i)$（全概率公式，$C_i$$C_i$ 互不相交，整体完备），最终迭代得到后验概率 $P(C_i|x)$$P(C_i|x)$。判断标准：$P(x|C_i)P(C_i)>P(x|C_j)P(C_j)$$P(x|C_i)P(C_i)\gt P(x|C_j)P(C_j)$；

多条件下：$P(C_i|x_1,x_2,\dots ,x_d)={\displaystyle \frac{P(x_1,x_2,\dots ,x_d|C_i)P(C_i)}{P(x_1,x_2,\dots ,x_d)}}$$P(C_i|x_1,x_2,\ldots,x_d)=\dfrac{P(x_1,x_2,\ldots,x_d|C_i)P(C_i)}{P(x_1,x_2,\ldots,x_d)}$。我们容易得到先验概率（数据集直接统计），那么如何得到 $P(x_1,x_2,\dots ,x_d|C_i)$$P(x_1,x_2,\ldots,x_d|C_i)$？

我们需要构建一个 $(x_1,x_2,\dots ,x_d)$$(x_1,x_2,\ldots,x_d)$ 在 $C_i$$C_i$ 下的联合概率分布表，这在高维数据下是不可接受的。

不过我们做一些概率学变换：$P(x_1,x_2,\dots ,x_d|C_i)=P(x_1|C_i)P(x_2|x_1,C_i)P(x_3|x_1,x_2,C_i)\cdots P(x_d|x_1,x_2,\dots ,C_i)$$P(x_1,x_2,\ldots,x_d|C_i)=P(x_1|C_i)P(x_2|x_1,C_i)P(x_3|x_1,x_2,C_i)\cdots P(x_d|x_1,x_2,\ldots,C_i)$（由条件概率定义得到）；

我们作出假设：假设给定的特征（维度）间相互独立。在这个假设下，我们有：

这样可以用频率简单地估计每个 $P(x_k|C_i)\approx {\displaystyle \frac{\text{count}(x_k,C_i)}{\sum _j\text{count}(x_j,C_i)}}$$P(x_k|C_i)\approx\dfrac{\text{count}(x_k,C_i)}{\sum\limits_{j}\text{count}(x_j,C_i)}$；

为了解决 zero count 的问题（任何一个 $P(x_k|C_i)=0$$P(x_k|C_i)=0$ 都会导致 $P(x_1,x_2,\dots ,x_d|C_i)=0$$P(x_1,x_2,\ldots,x_d|C_i)=0$），我们修改上面的公式：

这被称为 Laplace Smoothing；

最终对输入 $x_k$$x_k$ 的判别标准 $\hat{C}={\text{argmax}}_{i}P(C_i|x_k)$$\hat{C}=\text{argmax}_iP(C_i|x_k)$，就是 $P(x_k|C_i)P(C_i)>P(x_k|C_j)P(C_j)$$P(x_k|C_i)P(C_i)\gt P(x_k|C_j)P(C_j)$；

优势：

• 快：

  • on training, requires only a single pass over the training set；

  • on testing, also fast；

• performance 优异：

  • 当数据大致满足独立前提时，效果卓越；

  • 多分类问题上表现不错；

• 新增/删除数据集时只需要加减，易于维护；

劣势：

• 很多数据集的各个维度实际相互关联，通常违背独立假设；

但是通常效果也不错，因为我们不需要 $P(C_i|x_1,x_2,\dots ,x_d)$$P(C_i|x_1,x_2,\ldots,x_d)$ 计算正确，只需要：

$${\text{argmax}}_c\hat{P}(c)\prod _i\hat{P}(x_i|c)={\text{argmax}}_{c}P(c)P(x_1,x_2,\dots ,x_d|c)$$

Chapter 4. Naive Classification Algorithm: KNN

先来个最简单的算法（甚至不配叫深度学习算法）：最近邻。

• train phase 直接记录所有训练数据；

• predict phase 将输入数据与所有训练数据逐个比较，确定最近的图片对应的 label；

• 定义两个图片距离：

  • Manhattan Distance（曼哈顿距离）：$d_1(x,y)=\sum _u|x_u-y_u|$$d_1(x,y)=\sum\limits_u|x_u-y_u|$；

  • Minkowski Distance（闵氏距离）：$D_p(x,y)=(\sum _u|x_u-y_u{|}^p{)}^{\frac{1}{p}}$$D_p(x,y)=(\sum\limits_{u}|x_u-y_u|^p)^{\frac{1}{p}}$（$p=1$$p=1$ 为曼哈顿距离，$p=2$$p=2$ 为欧几里得距离）；

  • 相似度（如余弦相似度）：$\cos (x,y)={\displaystyle \frac{x\cdot y}{||x|{|}_2\cdot ||y|{|}_2}}$$\cos(x,y)=\dfrac{x\cdot y}{||x||_2\cdot||y||_2}$（0 为正交、1 为相同、-1 为相反）；

算法描述：

1. 选取邻居数 $k$$k$；

2. 对测试集中的每个需要被分类的样本 $x_i$$x_i$，计算到所有训练数据 $x_{ti}$$x_{ti}$ 的距离（定义如上）；

3. 按距离数据排序，取最近的 $k$$k$ 个测试数据，根据这 $k$$k$ 个数据的 majority vote 决定当前的样本 $x_i$$x_i$ 的类型；

这个方法有致命缺陷：训练 $O(1)$$O(1)$，但测试 $O(N)$$O(N)$。现实中我们宁愿训练过程耗时，也不愿意测试的时间耗费多。

此外，使用曼哈顿距离并不是很聪明（只是把看起来相近的图片归为一类，例如白色背景的猫和白色背景的青蛙会被归成一类）。

我们引入 decision boundaries（决策边界）来描述，这幅图被称为 Voronoi Tessellation（维诺图，沃罗诺伊分割）：

对于一个二维数据（例如 2 个像素的图像），点代表训练集，颜色代表标注的 labels。没有标注点的是其他的可能数据。而黑线就是按照模型算法判断的决策边界。所谓区分两个类型就是确定两个类的决策边界（黑线）。下次测试输入数据时查看落在哪块区域内即可。

某些异常情况（例如噪点）可能导致真实的分类边界参差不齐。

Improvements

改进 1：为了解决最近邻不准确的问题（直接使用最近邻居的 label），我们引申出 K-Nearest Neighbor（KNN），从 K 个最近邻居中选出得票最多的 label 作为测试数据的 label。这个改进我们可以从决策边界图看到：

可以看到，这使得模型的决策边界变得平滑，并且减小了测试数据受到个别噪声点的影响。

但 K-Nearest Neighbor 的问题是可能存在投票平局的问题，此时在图中显示是空白的颜色。你可以使用 heuristics（例如 fall back 到一个的情况）。

总结：

K 过小：算法效率提升，但更易受到噪声点的影响；

K 过大：算法效率不高，且包含太多其他类的 votes，over-smoothing 分类结果，模型效果不佳；

改进 2：更改 Distance Metrics。在 KNN 的基础上，我们将判断图像相似度的距离指标从曼哈顿距离（$p=1$$p=1$）更换为欧几里得距离（$p=2$$p=2$），发现：

曼哈顿距离的边界都是由垂直或水平或 45 度倾角的线段组成；而欧几里得距离的边界虽然还是由线段组成，但是可以朝向任意方向（相当于用计算量换取更灵活准确的分类方式）。

这里虽然看不出来二者的优势究竟在哪，但是这告诉我们一个好消息：对于任何一个数据类型，只要给一个 distance matrics，就能将 KNN 算法应用上去！例如衡量两个 PDF 文件的相似性（作为 distance），可以使用 TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文件频率）similarity，它通常被用在一些 NLP 应用中。

TF-IDF 指出，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

前者因为它更能代表一篇文章的主题，后者因为它更有可能是停用词、或者是不能很好作出区分的词汇。

这再次证明了，不考虑性能的情况下，调整 KNN 的距离指标计算方法可以在不同的应用场景下获得很好的分类效果。

Hyper-parameters

另一方面，除了 training data，还有一类参数例如 邻居数 K、最佳的距离指标（各种距离还是其他算法？），它们被称为学习算法的 “超参数”（hyper-parameters），意指在训练前就应该为学习算法确定的（而不是训练时获得），能对算法的运作方式产生间接深远影响的参数。

通常情况下，超参数的最优取法与具体问题有关，没有 silver bullet；有几种做法：

• 做法 1：使用全部数据作为 training data，并选对自己训练的数据集而言 accuracy 最大（最佳）的超参数；

  这是不行的。以 KNN 为例，我们会永远选择 K=1 的情况，因为总是和训练集数据自身比；

• 做法 2：将数据分为 training 和 test，使用 training 来训练，但选择对 test 而言 accuracy 最大的超参数；

  使用机器学习的目标之一就是要 generalize 到未知的数据，因此这么做是更合理的。

  但这也是不行的，和上一条一样是有问题的。这会导致对你的模型表现的错误预估。

  因为这不是单纯的 evaluate，而是设置超参数。这么做会导致模型仍然会被所谓的 “unseen data” 的知识所污染（你还是参考了 unseen data 来对算法的超参数作出了决定），模型和上面的一样，不能对真正未知的数据有足够的泛化性。

• 做法 3：将数据分为 training、validation 和 test，使用 training 来训练、validation 来确定最优超参数，test 来做最终一次的 evaluation；

  这条是真正比较科学的做法。不过还有更科学的做法。

• 做法 4：cross-validation；将数据分为 N 个 fold，以及一个 test，遍历每个 fold，将每个 fold 作为一次 validation set，然后除了它和 test 的剩余部分做 training，如此得到 N 个不同的最佳超参数，然后根据某种策略（如最大 accuracy / 超参数平均值等）选取最好的超参数。

  理论上这条比上一条更好，但是需要的计算量也更大。

  

  如上图是 5-fold cross validation 模式训练的 KNN 模型在超参数 $k$$k$ 不同时的 accuracy 表现，我们发现平均而言 $k=7$$k=7$ 对这个数据集最优。

Universal Approximation

由于 KNN 对于处理的函数几乎没有做前提假设，因此在训练集大到接近无穷时，KNN 甚至可以表示几乎任何常见的函数（有点像泰勒级数的逼近）。

问题是随着维度的增加，需要逼近真实解到同样程度的训练集大小会呈指数级增加，这被称为 “curse of dimensionality”（维度诅咒）。这是不可接受的，因为上面图的情况仅仅是一维的数据。如果是一张 32x32 的图片，训练集大小的数量级会在 $2^{32\times 32}\approx {10}^{308}$$2^{32\times32}\approx10^{308}$ 左右。

正因如此，KNN 在 raw pixels 的图像处理领域很少被用到，总结：

• $O(N)$$O(N)$ test time 的低效性；

• 需要大量数据来达到不错的效果（维度诅咒）；

• distance metrics 在图像领域并不具有明显语义；

但某些情况下（不是 raw pixels）KNN 能很好的识别图像特征，例如在深度卷积神经网络计算得到的特征向量（特征提取）中进行 KNN 并以此做图像分类/看图说话等等，可以得到很好的效果（从容应对 various viewpoints、bg clutter、illumination changes 等干扰因素），这个后面讨论。

Summary

优势：

• 容易理解、实现；

• 新数据可以直接添加到训练完的模型上，几乎不会损害模型精度、不需要从头训练；

劣势：

• 测试/推理性能极差，显然不能 scale 到大规模数据上（尤其是计算距离非常耗时）；

• 维度诅咒；

• 空间占用大；

• 数据一般需要标准化后再传入；

Chapter 5. Linear Classifier: Logistic Regression

线性分类器，其核心思想是通过线性函数直接建模类别间的决策边界，相比估计数据密度（如贝叶斯）或距离（如 KNN），分类的效果更直接。

Determinizing class boundaries (discriminants) is usually easier than estimating the class densities.

5.1 核心概念

基于建模决策边界的分类器的核心，就是判别函数（Discriminant Functions）：为每个类别定义一个函数 $g_i(x)$$g_i(x)$，决策规则为将样本 $x$$x$ 分配给 $g_i(x)$$g_i(x)$ 最大的类别。

例如，贝叶斯决策可转化为 $g_i(x)=P(C_i\mid x)$$g_i(x)=P(C_i∣x)$ 或其对数形式：

这章我们考虑简单情况，也就是判别函数是线性函数的分类器。它就是线性分类器。它的判别函数：$g_i(x|w_i,w_{i0})=w_i^{T}x+w_{i0}$$g_i(x|w_i,w_{i0})=w_i^Tx+w_{i0}$；由于 $w_i$$w_i$ 和 $w_{i0}$$w_{i0}$ 可以看作矩阵/张量，因此可以记为：$f(x,W)=Wx+W_0$$f(x,W)=Wx+W_0$；

优势：

• 算法简单：$O(d)$$O(d)$ 的时间和空间复杂度；

• 易于理解：输出的结果是类型/特征的权值；

• 精确：在一些 assumptions 满足的情况下非常精确；

以二分类为例，线性分类器的决策边界是超平面（Hyperplane），由 $g_i(x)=g_j(x)$$g_i(x)=g_j(x)$ 定义，形式为 $w^{T}x+w_0=0$$w^Tx+w_0=0$，将空间划分为两个半空间。

5.2 线性分类器的基础模型：感知机（Perceptron）

感知机是最早的线性分类器，其判别函数为 $g(x)=w^{T}x+w_0$$g(x)=w^Tx+w_0$，决策规则为：若 $g(x)>0$$g(x)>0$ 则判为 $C_1$$C_1$，否则为 $C_2$$C_2$。

训练算法（感知机学习规则）：

• 目标：通过数据估计参数 $w$$w$ 和 $w_0$$w_0$；

• 更新策略：对于误分类样本（即 $r\cdot g(x)\le 0$$r\cdot g(x)\le0$，其中 $r\in \{1,-1\}$$r\in\{1,−1\}$ 为真实标签），按 $w\leftarrow w+\eta \cdot rx$$w\leftarrow w+\eta\cdot rx$ 调整权重，使超平面向误分类点移动，直至所有样本正确分类。

  

感知机的局限性：

• 硬决策问题：输出仅为 0 或 1，无法表示分类的置信度，且优化目标（完全正确分类）在非线性可分数据上可能不收敛。

• 无法处理复杂边界：仅能解决线性可分问题，对异或（XOR）等非线性问题失效。

知识补充：

香农（Shannon）认为，一个事件的不确定性（或者称 surprisal / self-information）越大，信息量就越大；重复的 Message 传递的信息量更少。他引入了衡量信息量的量 —— Shannon Information Content；一件发生概率为 $p$$p$ 的事件的香农信息量由下面的式子给出：

$$SIC={\log }_2{\displaystyle \frac{1}{p}}(bits)$$

事件的信息由 SIC（香农信息熵）衡量，那么 随机变量的概率分布 的信息 由什么衡量？

假定 $X$$X$ 是一个有限样本空间 $\mathcal{X}=\{x_1,\dots ,x_M\}$$\mathcal{X}=\{x_1,\ldots,x_M\}$ 的一维离散型随机变量。其概率在各个值的分布为 $(p_1,\dots ,p_M)$$(p_1,\ldots,p_M)$，那么定义：该随机变量所遵循的概率分布的信息量大小由 信息熵（Information Entropy）衡量，大小由下面的式子给出：

$$H(X):=\mathbf{E}\{\log {\displaystyle \frac{1}{p(X)}}\}=-\sum _{x\in \mathcal{X}}p(x){\log }_{2}p(x)$$

即离散型随机变量概率分布负对数的期望。信息熵越大，意味着随机变量的概率分布的不确定性越强（在一维离散型随机变量的概率分布中的体现就是，随机变量的每个可能取值的概率接近），说明它的信息量越大。

通俗地说，信息熵描述了有多少信息是无法确定的。信息接收了多少，熵就降低了多少。

或者说，熵是要消解事件不确定性的平均代价。

数学小提示：

$$\underset{x\to 0^{+}}{lim}x{\log }_{b}x=0$$

你会在很多场合用到，可以通过换元法证明。简记为 0 log 0 = 0；

---

高维离散型随机变量的概率分布是联合概率分布，以二维随机变量为例，联合熵定义为：

$$H(X,Y):=-\mathbf{E}\{\log p(X,Y)\}=-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y){\log }_{2}p(x,y)$$

那么条件概率分布呢？这是我们已知条件（降低了信息熵）的基础上，求一件事物的信息熵。它的定义如下：

若 $(X,Y)\sim p(x,y)$$(X,Y)\sim p(x,y)$，则：

$$\begin{array}{rl}H(Y|X)& :=\sum _{x\in \mathcal{X}}p(x)H(Y|X=x)\\ & =\sum _{x\in \mathcal{X}}p(x)\sum _{y\in \mathcal{Y}}p(y|x){\log }_2{\displaystyle \frac{1}{p(y|x)}}\\ & =-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y){\log }_{2}p(y|x)\end{array}$$

式子的含义是，在所有给定 $X$$X$ 的条件下的 $H(Y|X=x)$$H(Y|X=x)$ 的期望。根据定义求解的方法是，找到 $P(Y|X)$$P(Y|X)$ 和 $P(X,Y)$$P(X,Y)$，代入公式即可。

如果是给定 $x$$x$ 的情况下（也比较好理解，上面的 $H(Y|X)$$H(Y|X)$ 定义式不对 $X$$X$ 求和、$p(x,y)$$p(x,y)$ 更改成已知 $x$$x$ 的条件概率即可）：

$$H(Y|X=x)=-\sum _{y\in \mathcal{Y}}p(y|x){\log }_{2}p(y|x)$$

但是，最好理解的方法还是 “熵的含义”：熵是对事件的不确定性。我们已知了 $X$$X$ 事件的信息，就相当于消解了联合概率分布 $P(X,Y)$$P(X,Y)$ 中 $X$$X$ 的信息熵，也就是从两个事件的联合熵中减去了 $X$$X$ 的信息熵，推导如下：

$$\begin{array}{rl}H(Y|X)& ={\mathbf{E}}_{X,Y}\{{\log }_2{\displaystyle \frac{1}{p(Y|X)}}\}={\mathbf{E}}_{X,Y}\{{\log }_2{\displaystyle \frac{p(X)}{p(X,Y)}}\}\\ & ={\mathbf{E}}_{X,Y}\{{\log }_2{\displaystyle \frac{1}{p(X,Y)}}-{\log }_2{\displaystyle \frac{1}{p(X)}}\}\\ & ={\mathbf{E}}_{X,Y}\{{\log }_2{\displaystyle \frac{1}{p(X,Y)}}\}-{\mathbf{E}}_X\{{\log }_2{\displaystyle \frac{1}{p(X)}}\}\\ \\ & =H(X,Y)-H(X)\end{array}$$

所以条件熵第二种算法，也是最简单、最通俗易懂的计算方法，就是 $H(X,Y)$$H(X,Y)$ 减去 $H(X)$$H(X)$。

这就是信息熵的链式法则：

$$H(X_1,X_2,\dots ,X_n)=\sum _{i=1}^{n}H(X_i|X_1,\dots ,X_{i-1})$$

类比条件概率的链式法则：

$$P(X_1,X_2,\dots ,X_n)=\prod _{i=1}^{n}P(X_i|X_1,\dots ,X_{i-1})$$

说明熵的对数运算让乘除变为了加减。

以下是条件熵的特性：

• $H(Y|X)=0$$H(Y|X)=0$ 等价于 $Y$$Y$ 完全取决于 $X$$X$；

• $H(Y|X)=H(Y)$$H(Y|X)=H(Y)$ 等价于 $Y$$Y$ 与 $X$$X$ 相互独立；

---

那么，再考虑一种情况。我们之前都是正确掌握了随机变量的概率分布，并用这些信息构建了概率分布的信息熵的定义。

如果对于一个离散型随机变量，我们并不知道它的具体分布、只是模拟了近似的概率分布。这样的信息和真正的概率分布有差距，那这个概率分布的不确定性又该如何描述？

人们定义了 “交叉熵” 的概念，用来描述：在实际概率分布为 $p$$p$，但却作出概率分布 $q$$q$ 的假设下，消解该随机变量不确定性的平均代价就是交叉熵，定义如下：

$$CE(p,q):={\mathbf{E}}_{x\sim p(x)}\{{\log }_2{\displaystyle \frac{1}{q(x)}}\}=-\sum _{x\in \mathcal{X}}p(x){\log }_{2}q(x)$$

准确的定义是，对于同一个事件集上的两种概率分布 $p$$p$、$q$$q$ 间的交叉熵，描述的是：如果编码方案采用针对 $q$$q$ 的优化，而非真实分布 $p$$p$ 的优化，那么平均需要从事件集中取出多少 bit 才能发现真实分布的情况。

这就相当于我们不知道 $p$$p$、但先当作 $q$$q$ 估计的时候，所要了解事件的真实分布需要的平均代价。

现在假设我们后来知道了 $p$$p$，那么我们由于原来作出的假设 $q$$q$ 分布，而造成与现实情况的偏差，导致要花费的更多的代价才消解不确定性。那么如何衡量这个代价的增量？这就是相对熵（Relative Entropy），又称 KL 散度（KL Divergence）：

$$D(p||q):=CE(p,q)-H(p)=\sum _{x\in \mathcal{X}}p(x){\log }_2{\displaystyle \frac{p(x)}{q(x)}}$$

显然 $D(p||q)\ne D(q||p)$$D(p||q)\ne D(q||p)$；

数学上，可以用优化理论证明，$D(p||q)=0$$D(p||q)=0$ 当且仅当 $p=q$$p=q$ 成立。

交叉熵和相对熵在机器学习领域（例如损失函数）使用颇多。它可以描述 当前估计的数据分布 相较于 真实数据分布 的偏差情况。

如果两个随机变量不是相互独立的，那么它们必定在概率和信息熵上相关联。

就是说，一旦两个随机变量不相互独立，那么得到一个随机变量的信息，就会影响另一个随机变量的信息熵（就是从熵的角度理解两个非独立随机变量的条件概率）。

---

如何描述这两个随机变量的 “信息关联性” 呢？

人们定义了 “互信息” 的概念：一个随机变量所携带另一个随机变量信息的信息量。这个携带的信息量越大，那么这两个随机变量的相关性越强。

$$I(X;Y):=D(p(x,y)||p(x)p(y))=\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y){\log }_2{\displaystyle \frac{p(x,y)}{p(x)p(y)}}$$

这个定义的含义是，假设分布 $p(x)p(y)$$p(x)p(y)$（二者独立）相对于 真正的分布 $p(x,y)$$p(x,y)$ 的偏差代价。

除了直接计算 $P(X,Y)$$P(X,Y)$、$P(X)P(Y)$$P(X)P(Y)$，我们还能通过推论更直观的方法理解互信息：

$$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)$$

两个信息熵相交的部分。

5.3 逻辑回归：从硬决策到概率估计

为了优化感知机的算法，我们需要将 “0-1” 硬决策转换成概率估计的值，这个时候就需要引入 sigmoid 函数：

优势：

1. 输出范围在 (0,1) 之间，可解释为属于 $C_1$$C_1$ 的后验概率；

2. 函数平滑可导，并且数学特性方便求导，便于优化。

现在输出的并不是特定的类型，而是类似概率的值。为了方便模型参数优化，我们还需要为它定义损失函数，用来衡量决策的好坏。这里我们引入 “交叉熵” 损失函数（注意由于是二分类问题，$r$$r$ 只有可能是 0 或者 1，$r=0$$r=0$ 表示 $x\in C_1$$x\in C_1$，$r=1$$r=1$ 表示 $x\in C_2$$x\in C_2$）：

数学上注意到，这等价于最大化此式概率：$r|x\sim \text{Bernoulli}(y)$$r|x\sim\text{Bernoulli}(y)$，$p(r|x)=y^r(1-y{)}^{1-r}$$p(r|x)=y^r(1-y)^{1-r}$；

这样原问题转换为，确定让损失函数最小的 $w$$w$（优化问题，optimization）。这个优化问题我们的优化算法采用梯度下降算法（Gradient Descent）；

• 给定训练数据集 $D=\{(x^{(1)},r^{(1)}),\dots ,(x^{(N)},r^{(N)})\}$$D=\{(x^{(1)},r^{(1)}),\ldots,(x^{(N)},r^{(N)})\}$；

• 目标函数：$\underset{w}{min}L(x,w,r)$$\min\limits_w L(x,w,r)$；

• 算法：梯度下降，向 $w_{t+1}=w_t-{\eta }_t{\displaystyle \frac{\partial L}{\partial w}}$$w_{t+1}=w_{t}-\eta_{t}\dfrac{\partial L}{\partial w}$；

w = initialize_weights()
for t in range(num_steps):
    dw = compute_gradient(loss_fn, data, w)
    w -= learning_rate * dw

注意到 ${\displaystyle \frac{\partial L}{\partial w}}$$\dfrac{\partial L}{\partial w}$ 对 $L(x,w,r)$$L(x,w,r)$ 计算：${\displaystyle \frac{\partial L}{\partial w_j}}=-\sum _l(r^{(l)}-y^{(l)})x_j^{(l)}$$\dfrac{\partial L}{\partial w_j}=-\sum\limits_{l}(r^{(l)}-y^{(l)})x_j^{(l)}$；因此计算伪代码实现是：

​x
def initialize_weights():
    w = []
    for i in range(d+1):
        w.append(random.rand(-0.01,0.01))
    return w

def loss_fn(x, w, r):
    # 这里 w0 为偏置量
    dw = r - sigmoid(w @ x + w0) @ x
    return dw

5.4 多分类：Softmax 回归（多项式逻辑回归）

对多分类问题，我们需要更改损失函数，以便输出 $K$$K$ 个类别的概率分布，这就是 softmax 损失函数。

对任意一个样本-标签对 $(x_i,y_i)$$(x_i,y_i)$，记它在模型下的各个类类别的得分向量为 $S_i=(s_i^1,s_i^2,\dots ,s_i^N)=f(x_i,W)$$S_i=(s_i^1,s_i^2,\ldots,s_i^N)=f(x_i,W)$，我们可以将这些分数翻译为概率：

softmax 函数：$f(z_i)={\displaystyle \frac{e^{z_i}}{\sum _{k=1}^K{e}^{z_k}}}$$f(z_i)=\dfrac{e^{z_i}}{\sum_{k=1}^Ke^{z_k}}$（之所以称之为 “softmax”，是指 “max” 函数的可导的近似函数，a soft differentiable approximation to hard max function）；

1. 可以让向量的各项介于 0~1 间，并且总和为 1（不至于像 max 函数一样大部分是 0，这使得网络中的一些计算难以进行）；

2. 可以借助指数函数特性（$e^x$$e^x$），让两个不同的数值 $z_i$$z_i$ 大的更大、小的更小（凸显不同数据的差异）；

3. 其导数有很好的性质，方便计算交叉熵损失函数；

它在 “需要计算 max 特征”、“需要可导”的这些场景下比较有用。

注意到这是 softmax 函数。我们考虑模型对 $(x_i,y_i)$$(x_i,y_i)$ 而言 $k$$k$ 标签的打分 $s_i^k$$s_i^k$ 对应的损失值，组成得分向量 $S_i=(s_i^1,s_i^2,\dots )$$S_i=(s_i^1,s_i^2,\ldots)$，通过 softmax 函数规范后为概率向量：$P_i=(p_i^1,p_i^2,\dots )$$P_i=(p_i^1,p_i^2,\ldots)$；易知 $p_i^k=P(Y=k|X=x_i)={\displaystyle \frac{e^{s_i^k}}{\sum _j{e}^{s_i^j}}}$$p_i^k=P(Y=k|X=x_i)=\dfrac{e^{s_i^k}}{\sum\limits_{j}e^{s_i^j}}$；设 ground truth 的对应单位向量为 $T_i=(0,0,\dots ,1,0,\dots )$$T_i=(0,0,\ldots,1,0,\ldots)$（第 $y_i$$y_i$ 项为 1 的单位向量），则我们只需要将 $T_i$$T_i$ 和 $p_i^k$$p_i^k$ 的差距比较一下就能衡量。

我们回想一下，在概率学中，想要衡量 “在实际概率分布为 $p$$p$，但却作出概率分布 $q$$q$ 的假设下，消解该随机变量不确定性的平均代价”，这不正是交叉熵的定义吗！因此我们使用交叉熵作为模型打分的损失函数，其中输入实际概率分布由 softmax 得出。

注意到 $y_i$$y_i$ 为 $x_i$$x_i$ 这个样本提供的 ground truth。

现在优化方法仍然保持不变（梯度下降），我们计算 ${\displaystyle \frac{\partial L}{\partial w}}=-\sum _j(r_i^j-L^j(x_i^j)){\mathcal{x}}^j$$\dfrac{\partial L}{\partial w}=-\sum\limits_{j}(r_i^{j}-L^j(x_i^j))\bold{\mathcal{x}}^j$；

总结线性分类器：

优势：计算高效（时间复杂度 $O(d)$$O(d)$）、可解释性强（权重反映特征重要性），在假设成立时精度较高。

劣势，线性分类器对于某些特定的数据类型没法很好地分类：

• （从二维上看）分布在对角象限内的类型数据。（不可能用线性超平面完美切分）

• 在欧式超空间中，一类数据分布为离散的不同聚簇中。（不可能用线性超平面完美划分）这恰好可以对应前面我们说 “同一类别的不同模式”，例如马的不同朝向；

• 在欧式超空间中，以半径为特征分布的类型。（不可能用线性超平面完美划分）

或者说：

1. 线性可分假设：若数据无法用超平面划分（如 XOR 问题），线性分类器性能较差。

2. 多解问题：即使数据线性可分，可能存在无数超平面实现分类，需额外约束（如 SVM 的最大 margin）来确定最优解。

补充：

• 逻辑回归与线性回归的联系：线性回归直接预测连续值，而逻辑回归通过 sigmoid 函数将线性组合转化为概率，本质是 “广义线性模型” 的一种；

• 为什么用交叉熵而非均方误差（MSE）：若对逻辑回归使用 MSE，损失函数可能非凸且梯度消失，而交叉熵基于似然估计，能保证凸性和有效优化；

• 线性分类器的 “softmax classifier” 和 “sigmoid classifier” 比较：逻辑回归广泛用于二分类问题（如垃圾邮件检测、疾病诊断），Softmax 回归用于多分类（如手写数字识别、文本分类）。

5.5 二分类 与 多分类：SVM Loss

多分类问题，除了 softmax 作为损失函数，还有一种损失函数是 multiclass SVM Loss。这个损失函数的思想是，正确的类型的得分，会远远高出不正确类型的得分。即不关心具体得分，只关心能否给出准确的 label。

通俗的来说，就是要最大化两个类别间的 margin（得分差）。

注：我们将使用 Multi-class SVM Loss 作为损失函数的线性分类器称为 “SVM classifier”；

对于一个图像样本 $x_i$$x_i$ 而言，我们记客观上正确的分类 label（即 ground truth）为 $y_i$$y_i$，其他参与选择的类比标签为 $l_1,l_2,\dots ,l_N$$l_1,l_2,\ldots,l_N$；

Multi-class SVM Loss 给出：一个算法对 “ground truth 的得分大小和其他错误类比的得分大小关系” 与损失值的关系。绘图如下：

解读：当一个算法对 ground truth 判断的得分高出其他错误得分的差值越小（小于 margin 时），损失值会线性增大。

这种含有线性区域和零区域（水平区域）图像的损失函数，被称为 “Hinge Loss”（看起来像 door hinge）；

我们记 $s_i^k$$s_i^k$ 表示对于样本 $x_i$$x_i$，模型在类别 $k$$k$ 的评分。

因此这个损失函数的数学表达式可以写成：$L_i=\sum _{k\ne y_i}max(0,s_i^j-s_i^{y_i}+\mathrm{\Delta })$$L_i=\sum\limits_{k\ne y_i}\max{(0,s^j_i-s^{y_i}_i+\Delta)}$，其中 $s_i=f(x_i,W)$$s_i=f(x_i,W)$ 为模型计算得分，$y_i$$y_i$ 是对应 $x_i$$x_i$ 的 ground truth，$\mathrm{\Delta }$$\Delta$ 就是上面所说的 “margin”，也就是 SVM 希望正确类别应该高出不正确类别的得分差。

解读：所有对于任意样本 $x_i$$x_i$，评分系统 $s$$s$ 在 $x_i$$x_i$ 上的损失 $L_i$$L_i$ 由所有不正确类型的得分（$s_i^k,k\ne y_i$$s^k_i,\space k\ne y_i$）和 ground truth 得分（$s_i^{y_i}$$s^{y_i}_i$）决定。

意味着只有正确类别比其他每个类别得分都要高出 $\mathrm{\Delta }$$\Delta$ 才能实现无损失。

注意到：在一开始没有进行训练时，一个样本的损失值大约为 $(C-1)\mathrm{\Delta }$$(C-1)\Delta$，其中 $C$$C$ 为分类数。因为 $s_i^j-s_i^{y_i}\approx 0$$s_i^j-s_i^{y_i}\approx0$；

为什么需要知道这个？因为我们需要一些 debugging 的手段（大概知道自己的模型有没有写错）。

显然，$\mathrm{\Delta }$$\Delta$ 就是 SVM classifier 的超参数。

拓展：$\mathrm{\Delta }$$\Delta$ 应该设置成什么值，是否需要 cross validation？这里先给出答案，你可以先看 “正则化” 一节后再来理解：

事实证明，在任何情况下都可以放心地将这个超参数设置为 $\mathrm{\Delta }=1.0$$\Delta=1.0$。超参数 $\mathrm{\Delta }$$\Delta$ 和正则化参数 $\lambda$$\lambda$ 似乎是两个不同的超参数，但实际上它们控制着相同的权衡：目标中 Data Loss 和正则化损失之间的权衡。理解这一点的关键在于，权重 $W$$W$ 的大小对分数（以及它们之间的差异）有直接影响：当我们缩小 W 内的所有值时，分数差异会变小，而当我们扩大权重时分数差异就会增大。因此确切值（例如 $\mathrm{\Delta }=1$$\Delta=1$ 或 $\mathrm{\Delta }=100$$\Delta=100$） 在某种意义上是没有意义的，因为权重可以任意缩小或拉伸差异。因此，唯一真正需要权衡的是正则化参数 $\lambda$$\lambda$）。

Tips 1：如果把上面损失函数的求和换成求平均，这个分类器会不会有明显变化？答案是不会，因为将所有样本损失值同时乘以 ${\displaystyle \frac{1}{(C-1)\mathrm{\Delta }}}$$\dfrac{1}{(C-1)\Delta}$，仍然是单调映射，不会改变对某个类别的 preference。不过总体来说训练效果会稍差一点，因为损失值的差距被减小了。

Tips 2：如果将损失函数换成 $L_i=\sum _{k\ne y_i}max(0,s_i^j-s_i^{y_i}+\mathrm{\Delta }{)}^2$$L_i=\sum\limits_{k\ne y_i}\max{(0,s^j_i-s^{y_i}_i+\Delta)^2}$ 呢？答案是会有明显不同！这是个对损失值进行了非线性映射，对每个类别的 preferences 会出现非平凡的改变。

Tips 3：假设我们找到一个 $W$$W$ 使得 $\mathrm{\forall }i,L_i=0$$\forall i,L_i=0$，那么这个 $W$$W$ 唯一吗？答案很简单：不唯一，因为如果 $W$$W$ 满足，那么 $2W$$2W$ 也满足。

实际上 SVM 尤其擅长解决二分类问题（毕竟它的语义就是从二分类出来的）。

考虑 SVM 解决二分类问题：

对于线性二分类问题，SVM 可以将其转换为二次规划，是个凸问题，意味着 SVM 总是能找到最优解！

下面是一些线性二分类 SVM 的计算结论（损失函数完整表达式、梯度下降时会用到的梯度计算式）：

Chapter 6. Multi-layer Perceptrons

6.1 基本概念

单层感知机：

1. 单层感知机的数学定义

   • 基本结构：输入 $x=[x_1,x_2,\dots ,x_d]$$x=[x_1,x_2,\ldots,x_d]$，权重 $w=[w_1,w_2,\dots ,w_d]$$w=[w_1,w_2,\ldots,w_d]$，偏置 $w_0$$w_0$，线性组合 $a=\sum w_j{x}_j+w_0$$a=\sum w_jx_j+w_0$，通过激活函数 $\sigma (a)$$\sigma(a)$ 输出。

   • 用途：回归（$y=w_x+w_0$$y=w_x+w_0$）和分类（$y=\text{sign}(w_x+w_0)$$y=\text{sign}(w_x+w_0)$），分类时通过阈值函数划分决策边界。

2. 单层感知机的局限性

   • Minsky 和 Papert 在 1969 年证明：单层感知机无法解决 XOR（异或）问题，因为 XOR 数据非线性可分。

   • 例子：AND 和 OR 问题线性可分，而 XOR 需要非线性边界。

MLP 的结构与原理：

• 核心：在输入层和输出层之间添加隐藏层，通过多层非线性变换处理复杂模式。

• 万能近似定理（参见另一份笔记）：含一个隐藏层的 MLP（足够多隐藏单元）可近似任何连续函数。

• 例子：XOR 问题可通过 “$(x_1\wedge \mathrm{\neg }{x}_2)\vee (\mathrm{\neg }{x}_1\wedge x_2)$$(x_1\and\neg x_2) \or (\neg x_1 \and x_2)$” 的逻辑组合，用单层隐藏层实现。

隐藏层的作用：

• 将输入空间非线性变换到高维空间，使数据在新空间中线性可分。例如，通过 “挤压” 和 “变形” 处理非线性边界问题。

• 模块化学习：底层隐藏单元学习基础特征（如边缘、颜色），高层组合为复杂特征（如物体部件）。

6.2 激活函数

常用激活函数

• Sigmoid：$\sigma (x)={\displaystyle \frac{1}{1+e^{-x}}}$$\sigma(x)=\dfrac{1}{1+e^{−x}}$，将输入映射到 $(0,1)$$(0,1)$，可解释为概率，但存在梯度消失问题。

• ReLU：$max(0,x)$$\max(0,x)$，解决梯度消失，计算高效，是当前主流选择。

• Tanh：$\tanh (x)={\displaystyle \frac{1-e^{-2x}}{1+e^{-2x}}}$$\tanh(x)=\dfrac{1−e^{−2x}}{1+e^{−2x}}$，映射到 $(-1,1)$$(-1,1)$，比 Sigmoid 更易收敛。

• 其他：Leaky ReLU、ELU、Swish 等，各有针对性优化（如负数区域的梯度问题）。

激活函数的作用

• 若不使用非线性激活函数，多层网络等价于单层线性模型，无法处理非线性问题。

6.3 MLP 中的优化算法：反向传播

参见另一份笔记。需要训练计算。

6.4 深度学习与 MLP

1. 深度学习的定义与特点

   • 核心：通过多层神经网络自动学习数据的层次化表示，从底层特征（如像素）到高层抽象（如物体、语义）。

   • 与传统机器学习的区别：传统方法依赖手工设计特征，而深度学习通过端到端训练自动提取特征。

2. 深度网络的优势

   • 模块化：底层特征可共享（如边缘检测），高层特征针对具体任务（如 “猫” 的耳朵、尾巴）。

   • 数据效率：深层网络用更少参数实现更高复杂度，适合大数据场景。

3. MLP 的局限性与后续模型

   • 不足：参数过多易过拟合，无法处理序列数据（如语音）和空间结构（如图像）。

   • 进化模型：卷积神经网络（CNN）处理图像，循环神经网络（RNN）处理序列，Transformer 成为当前主流。

6.5 总结

1. MLP 的核心价值

   • 作为深度学习的基础模型，证明了多层非线性网络的强大表达能力，为 CNN、RNN 等奠定理论基础。

2. 实践要点

   • 激活函数选择：优先 ReLU，避免 Sigmoid 在深层网络中的梯度消失；

   • 训练技巧：使用批量归一化（BatchNorm）、dropout 等缓解过拟合；

   • 工具推荐：PyTorch、TensorFlow 实现 MLP 与反向传播。

Chapter 7. Language Model

7.1 词的表示方法：从离散符号到向量表示

1. 传统词表示方法

   • 离散符号表示：早期计算机用 ASCII、ID 等离散符号表示单词（如 “hotel”=11，“motel”=1203），这种 “局部表示”（Localist Representation）无法捕捉语义关系。

   • One-Hot 编码：将单词表示为高维 0-1 向量（如 “tree”=[0,0,0,1,0,...]），向量维度等于词汇表大小（如 50 万维）。但该方法存在两个问题：

     • 维度灾难：向量稀疏且维度极高；

     • 无法表示语义相似性：任意两个 One-Hot 向量的余弦相似度为 0（如 “hotel” 和 “motel” 语义相近，但向量无关）。

2. 词嵌入（Word Embeddings）的提出

   • 定义：将单词映射为低维稠密向量（如 50-300 维），向量距离反映语义相似性（如 “hotel” 和 “motel” 的向量接近）。

   • 优势：能捕捉词汇的语义结构，例如：

     • 性别关系：man - woman 与 king - queen 类似；

     • 时态关系：walked - walking 与 swam - swimming 类似；

     • 国家 - 首都关系：Spain-Madrid 与 Italy-Rome 类似。

7.2 Word2Vec：词嵌入 (Word Embeddings) 的经典框架

核心思想：“词由上下文定义”（J. R. Firth 1957）。通过上下文预测中心词（或反之）来学习词向量。例如，根据 “a bottle of tesgüino is on the table” 等句子，可推断 “tesgüino” 是类似啤酒的酒精饮料。

于是 Word2Vec 框架（Mikolov et al. 2013）的思想就出来了：Two words are similar if they have similar word contexts。

我们有一个庞大的文本语料库。

• 词汇表中的每个词都有一个可学习的向量；

• 查看文本中的每个位置 $t$$t$，其中有中心词 $w$$w$ 和上下文词 $c$$c$；

• 利用它们的向量相似性计算出 $w$$w$ 给定 $c$$c$ 的概率；

• 不断更新词向量，以最大限度地提高这一概率。

• 目标：在大规模语料库中，通过最大化 “上下文 - 中心词” 的共现概率来学习词向量。

• 窗口机制：以中心词为中心，取左右各 k 个词作为上下文（如窗口大小 2 时，上下文为中心词前后各 2 个词）。

Word2Vec 框架下的著名模型就是 CBOW（Continuous-Bag-of-Words，连续词袋模型）了。

• 实现：用上下文词的向量预测中心词。例如，输入上下文词的 One-Hot 向量，通过嵌入矩阵映射为稠密向量，聚合后（如平均）输入神经网络，用 Softmax 预测中心词；

• 网络结构：

  • 输入层：上下文词的 One-Hot 编码：$z=Wx$$z=Wx$，其中 $W\in R^{|V|\times d}$$W\in R^{|V|\times d}$ 理解为 lookup table，每一行 $W_i$$W_i$ 就是对第 $i$$i$ 个词的 embedding；

    分布式表示：将词向量从高维稀疏（One-Hot）转换为低维稠密，捕捉语义关联（如 “hotel” 和 “motel” 的向量邻近）。

    参数共享：嵌入矩阵 $W$$W$ 在所有词和上下文位置共享，大幅减少参数量。

  • 投影层：聚合上下文向量（如求和或平均）：$z={\displaystyle \frac{1}{2|c|}}\sum _{-|c|\le j\le |c|,j\ne 0}{z}_{t+j}$$z=\dfrac{1}{2|c|}\sum\limits_{-|c|\le j\le|c|,j\ne0}z_{t+j}$；

    聚合上下文向量（默认平均或求和），忽略词序（“词袋” 特性），生成统一的上下文表示。

  • 输出层：Softmax 计算中心词概率：$P(w_t|w_{t-|c|},\dots ,w_{t-1},w_{t+1},\dots ,w_{t+|c|})={\displaystyle \frac{e^{y_t}}{\sum _{i=1}^{|V|}{e}^{y_i}}}$$P(w_t|w_{t-|c|},\ldots, w_{t-1},w_{t+1},\ldots, w_{t+|c|})=\dfrac{e^{y_t}}{\sum\limits_{i=1}^{|V|}e^{y_i}}$；

• 训练方法：最小化负对数似然损失（NLL），通过梯度下降更新词向量和网络参数。

  $$L(W,U|D)=-{\displaystyle \frac{1}{N}}\sum _{t=1}^N\log p(w_t|w_{t-k},\dots ,w_{t-1},w_{t+1},\dots ,w_{t+k})$$

• 优点：

  • 效率优势：CBOW 聚合上下文向量后预测单中心词，计算量低于 Skip-gram（后者需用单中心词预测多个上下文词）；

  • 语义平滑：对高频词的向量学习更稳定（如 “the” 的上下文丰富，平均后噪声更低），符合 Word2Vec 对大规模语料的优化目标；

  • 架构简化：舍弃传统神经网络的隐层（对比 NNLM），仅保留 “嵌入 - 聚合 - Softmax” 三层，契合 Word2Vec “快训” 的工程需求。

7.3 LM Basics

定义与目标

• 概率模型：计算句子出现的概率，即 $p(w_1,w_2,\dots ,w_N)$$p(w_1,w_2,\ldots,w_N)$。例如，判断 “他明天去上课” 比 “明天他将要会去上课” 更符合中文语法。

• 应用：文本生成、拼写纠正、机器翻译、语音识别等。

数学建模

• 链式法则：将联合概率分解为条件概率的乘积：$p(w_1,...,w_N)=p(w_1)p(w_2\mid w_1)\dots p(w_N\mid w_1,\dots ,w_{N-1})$$p(w_1,...,w_N)=p(w_1)p(w_2∣w_1)\ldots p(w_N∣w_1,\ldots,w_{N−1})$。

• 马尔可夫假设：假设当前词仅依赖前 $n-1$$n-1$ 个词（n-gram 模型），如二元模型（bigram）假设 $p(w_i\mid w_1,\dots ,w_{i-1})\approx p(w_i\mid w_{i-1})$$p(w_i∣w_1,\ldots,w_{i−1})\approx p(w_i∣w_{i−1})$；

• 概率估计：传统方法通过计数计算概率，例如 $P(\text{是}|\text{天}\text{将}\text{降}\text{大}\text{任}\text{于})={\displaystyle \frac{\text{count}(\text{天}\text{将}\text{降}\text{大}\text{任}\text{于}\text{是})}{\text{count}(\text{天}\text{将}\text{降}\text{大}\text{任}\text{于})}}$$P(是|天将降大任于)=\dfrac{\text{count}(天将降大任于是)}{\text{count}(天将降大任于)}$，但存在数据稀疏、无法捕捉语义等问题；

补充：语言模型的评估。除了概率计算，常用困惑度（Perplexity）衡量模型对语料的拟合能力，值越低表示模型越好。

7.4 神经网络语言模型与循环神经网络（RNN）

之前的 Word2Vec 有不少缺陷。如何使用神经网络进行改进？

7.4.1 基本概念

神经网络的改进

• 词向量平均：将上下文词向量平均后输入 Softmax，但忽略词序（“词袋” 缺陷）。

• 向量拼接：拼接上下文词向量，但输入长度不固定（无法应对变长输入），参数无法共享。

RNN 的结构与原理

• 3 层架构：

  1. 输入层（Input Layer）：接收单个时间步的输入向量 $x_t$$x_t$，通常是词嵌入向量（如 Word2Vec 生成的稠密向量）；

  2. 隐藏层（Hidden Layer）：核心记忆单元，通过隐藏状态 $h_t$$h_t$ 存储历史信息。与传统神经网络不同，RNN 的隐藏层在时间步之间共享参数，实现 “记忆” 功能；

  3. 输出层（Output Layer）：根据当前隐藏状态 $h_t$$h_t$ 生成输出 $y_t$$y_t$，如语言模型中的下一词概率分布；

  

• 核心参数：

  • $W_{xh}$$W_{xh}$：输入层到隐藏层的权重矩阵，维度为 $d_{\text{input}}\times d_{\text{hidden}}$$d_{\text{input}}\times d_{\text{hidden}}$；

  • $W_{hh}$$W_{hh}$：隐藏层自连接的权重矩阵，实现历史状态传递，维度为 $d_{\text{hidden}}\times d_{\text{hidden}}$$d_{\text{hidden}}\times d_{\text{hidden}}$；

  • $W_{hy}$$W_{hy}$：隐藏层到输出层的权重矩阵，维度为 $d_{\text{hidden}}\times d_{\text{output}}$$d_{\text{hidden}}\times d_{\text{output}}$；

  意义：同一组参数在所有时间步复用，大幅减少参数数量，且允许模型学习序列的通用模式。

• 隐藏状态更新：$h_t=\tanh (W_{hh}{h}_{t-1}+W_{xh}{x}_t)$$h_t=\tanh(W_{hh}h_{t-1}+W_{xh}x_{t})$；

  • 历史信息传递：$W_{hh}{h}_{t-1}$$W_{hh}h_{t−1}$ 表示将前一时间步的隐藏状态 $h_{t-1}$$h_{t−1}$ 加权变换，即 “记住” 之前的输入信息。

  • 当前信息输入：$W_{xh}{x}_t$$W_{xh}x_t$ 表示对当前输入 $x_t$$x_t$ 进行加权变换，与历史信息融合。

  • 非线性激活：$\tanh$$\tanh$ 函数将加权和映射到 $[-1,1]$$[-1, 1]$，引入非线性能力，避免模型沦为线性变换。

• 输出：$y_t=W_{hy}{h}_t$$y_t=W_{hy}h_t$（直接将计算出的隐藏状态和 $W_{hy}$$W_{hy}$ 参数线性组合得到输出）；

• 理解：每一步的隐藏状态 $h_t$$h_t$ 是 “历史记忆”（$h_{t-1}$$h_{t−1}$）与 “当前输入”（$x_t$$x_t$）的加权组合，通过非线性激活 “过滤” 信息，保留对后续预测有用的特征。例如，在语言模型中，$h_t$$h_t$ 可能记录了前文的语义和语法信息，用于预测下一词；

7.4.2 训练方法

和一般的神经网络一样，借助反向传播计算损失值和整体梯度下降，以此改进模型参数，不过 forward pass 和 backward pass 需要和时间相关，这被称为 Backpropagation Through Time（BPTT）如下图所示：

7.4.3 总结

RNN 架构总结：

• 核心设计：通过隐藏状态 $h_t$$h_t$ 记忆历史输入，实现序列建模。状态更新方程：$h_t=\tanh (W_{hh}{h}_{t-1}+W_{xh}{x}_t)$$h_t=\tanh(W_{hh}h_{t−1}+W_{xh}x_t)$； 输出方程：$y_t=W_{hy}{h}_t$$y_t=W_{hy}h_t$​；

• 计算图展开：同一组参数（$W_{hh},W_{xh},W_{hy}$$W_{hh},W_{xh},W_{hy}$）在不同时间步重复使用，解决输入长度可变问题；

• 训练方法：通过 “时间反向传播”（BPTT）计算梯度，更新参数；

• 应用场景：

  序列分类：如情感分析，输入文本序列，输出类别概率（如 “喜欢机器学习”->85% 正面）。

  序列生成：

  • 诗歌生成：输入前 n-1 个字符，预测下一个字符（如 “床前明月”->“光”）；

  • 音乐生成：根据乐谱序列预测下一个音符至；

  • 机器翻译：通过编码器 - 解码器结构实现语言转换（如中文 “我到了”->英文 “have arrived”）。

RNN 的优势和局限：

优势：

• 处理可变长序列：通过动态更新隐藏状态，适应任意长度的输入序列，无需固定输入维度。

• 捕捉序列依赖：理论上可记忆任意历史信息，例如在语音识别中关联前后音素。

局限：

• 长期依赖问题：标准 RNN 难以捕捉长距离依赖（如句子开头的主语与结尾的谓语），因梯度反向传播时易出现 “梯度消失” 或 “梯度爆炸”。

  基于对这点缺陷的改进，后续发展出 LSTM、GRU 等改进结构。

• 并行计算困难：每个时间步依赖前一步状态，无法像 CNN 一样批量并行处理。

Chapter 8. Transformer & Attention

NLP（自然语言处理）核心任务：涵盖机器翻译、情感分析、信息检索、问答系统、文档摘要等序列到序列（Seq2Seq）问题。例如，将 “机器学习” 译为 “Machine Learning”，或根据对话历史生成回复。

8.1 从 RNN Encoder-Decoder 到 Attention 机制

8.1.1 基本概念

RNN Encoder-Decoder 是序列到序列（Seq2Seq）学习的基础模型，其设计核心是解决序列映射问题（如机器翻译、问答生成等）。

它的设计结构如下：

• Encoder（编码器）：用 RNN 将输入序列 $x=(x_1,x_2,\dots ,x_{T_x})$$x=(x_1,x_2,…,x_{T_{x}})$ 压缩成一个固定长度的上下文向量 $c$$c$，捕捉整个输入序列的语义信息。

  • 公式：$h_t={\text{RNN}}_{\text{in}}(x_t,h_{t-1})$$h_t=\text{RNN}_{\text{in}}(x_t,h_{t−1})$，其中 $h_t$$h_t$ 是第 $t$$t$ 步的隐藏状态，最终 $c=h_{T_x}$$c=h_{T_{x}}$（即取最后一个时间步的隐藏状态为编码器输出）。

• Decoder（解码器）：基于上下文向量 $c$$c$ 和已生成的输出序列，逐词生成目标序列 $y=(y_1,y_2,\dots ,y_{T_y})$$y=(y_1,y_2,\ldots,y_{T_{y}})$；

  • 公式：$s_i={\text{RNN}}_{\text{out}}(y_{i-1},s_{i-1},c)$$s_i=\text{RNN}_{\text{out}}(y_{i−1},s_{i−1},c)$，其中 $s_i$$s_i$ 是解码器第 $i$$i$ 步的隐藏状态，通过 softmax 预测 $y_i$$y_i$ 的概率：$p(y_i|y_{<i},c)=\text{softmax}(\text{MLP}(s_i))$$p(y_i|y_{\lt i},c)=\text{softmax}(\text{MLP}(s_i))$；

直观理解：以机器翻译为例（如 “我到了”->“have arrived”）：

• Encoder 将中文 “我到了” 逐词处理，最终用向量 $c$$c$ 表示其语义；

• Decoder 基于 $c$$c$ 先生成 “have”，再结合已生成的词逐步输出 “arrived”，完成翻译。

8.1.2 训练方法

使用交叉熵作为损失函数。仍然是梯度下降方法对目标函数进行优化。

对于训练数据集 $D=\{(x^{(1)},y^{(1)}),\dots ,(x^{(N)},y^{(N)})\}$$D=\{(x^{(1)},y^{(1)}),\ldots,(x^{(N)},y^{(N)})\}$，其中 $x^{(l)}=(x_1,x_2,\dots ,x_{T_x})$$x^{(l)}=(x_1,x_2,\ldots,x_{T_x})$，$y^{(l)}=(y_1,y_2,\dots ,y_{T_x})$$y^{(l)}=(y_1,y_2,\ldots,y_{T_x})$；

8.1.3 思考与总结

RNN Encoder-Decoder 的地位和总结：

• 在 Transformer 出现前，RNN Encoder-Decoder 是处理 Seq2Seq 任务的主流框架，解决了以下具体问题：

  • 机器翻译：实现不同语言之间的序列映射（如中英互译）；

  • 语音识别（ASR）：将语音信号序列转为文本序列；

  • 对话系统：根据对话历史生成回复（如 “How are you?”->“ I am fine”）；

• 突破传统模型的局限性：相较于早期的统计机器翻译或规则系统，Encoder-Decoder 通过端到端学习（数据驱动而非人工规则）解决了以下痛点：

  • 语义保持：通过 RNN 的隐藏状态捕捉长距离语义依赖，避免传统模型中短语对齐的局限性；

  • 泛化能力：可通过大量数据训练适应不同场景，无需手动编写翻译规则。

• 为后续技术奠定基础：尽管 RNN Encoder-Decoder 存在长序列信息丢失的问题（如文档中提到的 “当序列变长时性能下降”），但其设计思想为 Attention 机制、Transformer 等后续技术提供了起点。例如：

  • Attention 机制通过动态计算 $c_i$$c_i$ 替代固定 $c$$c$，解决了长序列瓶颈；

  • Transformer 用 Self-Attention 替代 RNN，彻底解决了序列依赖导致的并行计算限制。

RNN Encoder-Decoder 模型的局限性：

• RNN 将整个序列压缩为单一向量 $c$$c$，当输入过长时，关键信息可能被稀释，导致性能随序列长度下降（如机器翻译中长句翻译质量降低）。

总而言之，RNN Encoder-Decoder 的本质是用 RNN 的序列处理能力实现语义的压缩与重建，其有效性源于对序列任务本质的抽象（语义映射）和数学上的概率建模。尽管存在长序列缺陷，但其 “编码 - 解码” 框架至今仍是许多复杂模型（如 Transformer）的设计基础，推动了 NLP 从规则系统向数据驱动的深度学习转型。

8.1.4 改进：Cross Attention (Encoder-Decoder Attention)

如何克服 RNN Encoder-Decoder 的长序列缺陷？人们曾认为，可以通过动态计算序列上下文压缩向量 $c_i$$c_i$，来打破信息稀释的问题。这就是 Cross Attention 机制。

它的目标是： 在解码器生成目标序列的第 t 个词时，动态地、有选择性地关注输入序列的所有编码状态（而非原先只关注 Encoder 最后一个隐藏状态），以获取与当前解码步骤最相关的上下文信息。

输入：

• Encoder 所有时刻的隐藏状态： $H=[h_1,h_2,...,h_{Tx}]$$H = [h_1, h_2, ..., h_{Tx}]$ ($T_x$$T_x$ 是输入序列长度)。这些状态代表了输入序列在不同位置的信息；

• Decoder 当前步的隐藏状态 $s_t$$s_t$；

  • 在计算 $s_t$$s_t$ 时可能只用了上一步的输出 $y_{t-1}$$y_{t-1}$ 和上一步的隐藏状态 $s_{t-1}$$s_{t-1}$；

  • 或者也结合了上一步的注意力上下文 $c_{t-1}$$c_{t-1}$，这取决于具体实现。

计算过程：

1. 计算对齐分数： 对于输入序列的每一个位置 $j$$j$ (对应 Encoder 隐藏状态 $h_j$$h_j$)，计算它与当前 Decoder 状态 $s_t$$s_t$ 的“相关性”或“匹配度”；

   常用方法：

   • 点积： $e_{tj}=s_t^T\cdot h_j$$e_{tj} = s_t^T\cdot h_j$；

   • 加性： $e_{tj}=v^T\cdot \tanh (W_s\cdot s_t+W_h\cdot h_j+b)$$e_{tj} = v^T\cdot\tanh(W_s\cdot s_t + W_h\cdot h_j + b)$，其中 $v$$v$, $W_s$$W_s$, $W_h$$W_h$, $b$$b$ 是可学习参数；

   • 缩放点积： $e_{tj}={\displaystyle \frac{s_t^T\cdot h_j}{\sqrt{d_k}}}$$e_{tj} =\dfrac{s_t^T\cdot h_j}{\sqrt{d_k}}$，类似 Transformer，但在原始 RNN-Attention 中不常见；

2. 计算注意力权重： 将对齐分数 $e_{tj}$$e_{tj}$ 通过 Softmax 函数归一化，得到注意力权重 ${\alpha }_{tj}$$\alpha_{tj}$。这表示在生成第 $t$$t$ 个目标词时，模型应该多关注输入序列第 $j$$j$ 个位置。

   $${\alpha }_{tj}=\text{softmax}(e_{tj}),j\in [1,T_x]$$

   权重满足：$\sum ({\alpha }_{tj})=1$$\sum(α_{tj}) = 1$；

3. 动态计算上下文向量： 用注意力权重 ${\alpha }_{tj}$$\alpha_{tj}$ 对所有 Encoder 隐藏状态 $h_j$$h_j$ 进行加权求和，得到一个动态的上下文向量 $c_t$$c_t$。这个向量捕获了输入序列中与当前 Decoder 步骤 $t$$t$ 最相关的信息。

   $$c_t=\sum _{j=1}^{T_x}{\alpha }_{tj}{h}_j$$

4. 整合上下文： 将计算出的上下文向量 $c_t$$c_t$ 与解码器当前的隐藏状态 $s_t$$s_t$ 拼接 (concat) 或者相加 (add)，形成一个新的、富含输入信息的表示 $s_t^{\prime }$$s_t^\prime$。 $s_t^{\prime }=\text{concat}([s_t;c_t])$$s_t^\prime=\text{concat}([s_t; c_t])$ 或 $s_t^{\prime }=s_t+c_t$$s_t^\prime=s_t+c_t$ (或其他组合方式)；

5. 预测输出： 使用 $s_t^{\prime }$$s_t^\prime$ (而不是原始的 $s_t$$s_t$) 来预测当前步的输出 $y_t$$y_t$ (通常通过一个 Softmax 层)：$y_t=\text{softmax}(W_y\cdot s_t^{\prime }+b_y)$$y_t = \text{softmax}(W_y \cdot s_t^\prime + b_y)$；

8.2 Self-Attention: Transformer 的核心组件

现在仍然有 RNN Encoder-Decoder With Attention 解决不了的问题，也就是对于多层 RNN 而言，每个位置上的 hidden states 总是要依赖于前一个位置上的 hidden states（回顾 Encoder 和 Decoder 的多层 RNN 结构），这导致模型难以并行计算。

因此人们引入了 self-attention，让每个词同时关注所有词，实现并行计算。例如，处理句子 “The animal didn't cross the street because it was too tired” 时，“it” 可直接关联到 “animal”，无需依赖中间隐藏状态。

self-attention 的目标是： 让序列中的每一个元素（词/Token）都能直接与序列中的所有其他元素（包括它自己）进行交互，计算一个基于“全局”上下文的新的表示。它捕捉的是序列内部的依赖关系。

输入序列的每个元素 $x_i$$x_i$ 被线性投影到三个不同的向量空间：

• Query 向量 ($q_i$$q_i$)： 代表当前元素在“询问”序列中哪些元素对它重要。

• Key 向量 ($k_i$$k_i$)： 代表当前元素能被用来“回答”其他元素查询的“标识”。

• Value 向量 ($v_i$$v_i$)： 代表当前元素实际携带的“信息内容”。

• 投影： $q_i=W_q\cdot x_i$$q_i = W_q \cdot x_i$, $k_i=W_k\cdot x_i$$k_i = W_k \cdot x_i$, $v_i=W_v\cdot x_i$$v_i = W_v \cdot x_i$ (其中 $W_q$$W_q$, $W_k$$W_k$, $W_v$$W_v$ 是可学习的投影矩阵)。

计算过程（对于一个序列而言）：

1. 计算注意力分数： 对于序列中的每一个位置 $i$$i$ (Query)，计算它与序列中每一个位置 $j$$j$ (Key) 的相似度分数。通常使用缩放点积：

   $$e_{ij}={\displaystyle \frac{q_i^T\cdot k_j}{\sqrt{d_k}}}$$

   $d_k$$d_k$ 是 Key 向量的维度，缩放是为了防止点积结果过大导致 Softmax 梯度消失。

   根据 “Attention is all you need” 论文内容，当 $d_k$$d_k$ 较大时，点积的方差会增大，缩放可使梯度稳定。

2. (可选) 掩码： 在 Decoder 的 Self-Attention 中，为了避免模型在预测位置 $i$$i$ 时“偷看”到未来位置 $j>i$$j>i$ 的信息，需要将 $j>i$$j>i$ 位置的分数 $e_{ij}$$e_{ij}$ 设置为一个非常大的负数（如 -1e9），这样在 Softmax 后其权重几乎为 0。Encoder 的 Self-Attention 不需要掩码。

3. 计算注意力权重： 对每一行 $i$$i$ 的分数 $e_{i1},e_{i2},\dots ,e_{iN}$$e_{i1}, e_{i2}, \ldots, e_{iN}$ 进行 Softmax 归一化，得到位置 $i$$i$ 对所有位置 $j$$j$ 的注意力权重 ${\alpha }_{ij}$$\alpha_{ij}$。

   $${\alpha }_{ij}=\text{softmax}(e_{i}j),j\in [1,N]$$

   权重满足 $\sum _i({\alpha }_{ij})=1$$\sum\limits_i(\alpha_{ij}) = 1$；

4. 计算加权和输出： 对于位置 $i$$i$，用其注意力权重 ${\alpha }_{ij}$$\alpha_{ij}$ 对所有位置的 Value 向量 $v_j$$v_j$ 进行加权求和，得到位置 $i$$i$ 的 Self-Attention 输出 $z_i$$z_i$。$z_i$$z_i$ 是融合了序列中所有其他位置相关信息的新表示。

   $$z_i=\sum _{j=1}^N{\alpha }_{ij}\cdot v_j$$