[!NOTE] Title
文章内容来自于 Illustrated Transformer

总览

我们从高层次总览一下, Transformer是什么?

1. 编码器的输入首先通过一个自注意力层——这个层帮助编码器在编码特定单词时查看输入句子中的其他单词。
2. 自注意力层的输出被输入到一个前馈神经网络。完全相同的神经网络独立应用于每个位置。

让我们再看下Decoder内部结构.

Tensor (张量) Input

现在我们已经看到了模型的各个主要组件，让我们开始研究各种向量/张量，以及它们如何在这些组件之间流动，将训练模型的输入转换为输出。

在自然语言处理应用中，我们首先使用嵌入算法将每个输入词转换为向量。

让我们看下Tensor输入到Encoder中发生了什么?

我们用一个更简单的语句来展示这个过程.

Self-Attention总览

让我们来提炼一下Self-Attention是如何工作的?

以下句子是我们想要翻译的："The animal didn't cross the street because it was too tired, The animal didn't cross the street because it was too tired

这句话中的“it”指的是什么？是指街道还是动物？这对人类来说是一个简单的问题，但对算法来说并不简单。

当模型处理单词“it”时，自注意力使其能够将“it”与“animal”关联起来。

用图示展示的话, 就能发现在当前Attention机制下, it 和 the animal关联都最高

详解 Self-Attention

首先，我们来了解一下如何使用向量计算自注意力，然后继续探讨其实际实现——使用矩阵计算。

第一步 Query向量Key向量Value向量

计算自注意力机制的第一步是从编码器的每个输入向量中创建三个向量（在这种情况下，每个词的嵌入）。因此，对于每个词，我们创建一个Query向量、一个Key向量和一个Value向量。这些向量是通过将嵌入乘以我们在训练过程中训练的三个矩阵来创建的。

注意，这些新向量在维度上小于嵌入向量。它们的维度是 64，而嵌入和编码器输入/输出向量的维度是 512。它们不必更小，这是为了使多头注意力的计算（主要是）保持常数而做出的架构选择。

第二步 计算Score

计算自注意力步骤的第二步是计算一个分数。比如说，我们正在计算这个例子中第一个词“Thinking”的自注意力。我们需要将输入句子中的每个词与这个词进行评分。这个分数决定了我们在编码某个位置的词时，对输入句子其他部分的关注程度。

Score是通过将查询向量与我们要评分的单词的关键向量进行点积来计算的。所以如果我们正在处理位置#1 的单词的自注意力，第一个得分将是 q1 和 k1 的点积。第二个得分将是 q1 和 k2 的点积。

第三步第四步 归一化

将SCore除以 8（论文中使用的键向量的维度的平方根 - 64。这导致具有更稳定的梯度。这里可能有其他可能的值，但这是默认值），然后将结果通过 softmax 操作。Softmax 将分数归一化，使它们都为正且总和为 1。

这个 softmax 分数决定了每个词在这个位置的表达程度。显然，这个位置的词将具有最高的 softmax 分数，但有时关注与当前词相关的另一个词是有用的。

第五步 向量处理

将每个Value向量乘以 softmax 分数（为求和做准备）。这里的直觉是保持我们想要关注的单词的值不变，并通过将它们乘以微小的数字（例如 0.001）来淹没无关的单词。

第六步 加权值向量的和

第六步是求加权值向量的和。这产生了当前位置（对于第一个词）的自注意力层的输出。

Self-Attention 矩阵计算

第一步 映射矩阵

第一步是计算查询（Query）、键（Key）和值（Value）矩阵。我们通过将嵌入打包到矩阵 X 中，然后乘以我们训练的权重矩阵（WQ、WK、WV）来实现这一点。

第二步 计算

由于我们处理的是矩阵，我们可以将之前步骤二至六合并为一个公式来计算自注意力层的输出

Multi-head Attention

多头注意力机制是为了优化自注意力机制的表现.

1. 它扩展了模型关注不同位置的能力。

在上面的例子中，z1 包含了一些其他编码，但它可能被实际单词本身所主导。如果我们正在翻译像“动物没有过马路，因为它太累了”这样的句子，知道“它”指的是哪个单词将是有用的。

2. 它为注意力层提供了多个“表示子空间”。

正如我们接下来将看到的，在多头注意力中，我们不仅有单一的，而是有多个查询/键/值权重矩阵集（Transformer 使用八个注意力头，因此每个编码器/解码器最终有八个集合）。这些集合中的每一个都是随机初始化的。然后，在训练之后，每个集合都用于将输入嵌入（或来自较低编码器/解码器的向量）投影到不同的表示子空间中。

Feed-froward layer challenge

这给我们带来了一些挑战。前馈层不期望有八个矩阵——它期望一个单一的矩阵（每个词一个向量）。因此，我们需要一种方法将这些八个矩阵压缩成一个单一的矩阵。

我们将矩阵连接起来，然后乘以额外的权重矩阵 WO。

All steps

再通过图示来回顾之前的例子. 看看不同的注意力头在编码我们例子中的单词“it”时关注在哪里?

如果我们把所有的注意力头加到图片上，然而，事情可能更难解释.

Representing The Order of The Sequence Using Positional Encoding(使用位置编码表示序列的顺序)

模型中目前所描述的缺失之处是，没有一种方法来考虑输入序列中单词的顺序。

为了解决这个问题，Transformer 为每个输入嵌入添加一个向量。这些向量遵循模型学习到的特定模式，有助于确定每个词的位置，或者序列中不同词之间的距离。

这里的直觉是，将这些值添加到Embedding中，一旦它们被投影到 Q/K/V 向量并在点积注意力期间，就能提供embedding向量之间的有意义的距离。

输入向量X1 与 位置编码 t1 相加得到带有位置信息的向量.

如果我们假设嵌入的维度为 4，实际的位置编码将看起来像这样.

这可能的图案是什么样的？

在下图中，每一行对应一个向量的位置编码。因此，第一行将是我们要添加到输入序列中第一个词嵌入的向量。

每一行包含 512 个值 - 每个值介于 1 和-1 之间。我们已用颜色编码它们，以便可见模式。

位置编码并不是唯一的方法, 当前的图示基于位置编码的公式在论文（第 3.5 节）中描述。您可以在 get_timing_signal_1d() 中看到生成位置编码的代码。它具有能够扩展到未见过的序列长度的优势（例如，如果我们的训练模型被要求翻译比我们训练集中任何句子都长的句子）。

The Residuals (残差)

编码器架构中的一个细节，在继续之前需要提及的是，每个编码器中的每个子层（自注意力、前馈神经网络）周围都有一个残差连接，并且随后是一个层归一化步骤。

下面几点可以帮助理解残差连接在 Transformer 中的作用.

1. 跳跃连接的机制

在 Transformer 的每个子层（如自注意力层和前馈神经网络层）中，输入经过层的处理后会与原始输入相加。这个加法操作使得模型在学习时可以“跳过”某些层的非线性变换，从而保持初始输入的信息，确保信息在网络中更稳定地流动。

2. 缓解梯度消失和加速收敛

深层网络往往容易出现梯度消失或梯度爆炸的问题，而残差连接通过直接将输入传递到更深的层，帮助梯度在反向传播过程中更顺畅地传递。这不仅减小了梯度消失的风险，还能使模型训练更快、更稳定。

3. 模型的表达能力

残差连接允许每一层学习到的是对输入信号的“修正”或“残差”，而不是完全重构整个信号。这种方式使得每一层只需关注输入与输出之间的差异，从而简化了学习任务，提高了模型的表达能力。

4. 与归一化的结合

在 Transformer 中，残差连接通常与层归一化（Layer Normalization）结合使用。先进行残差连接，再经过归一化处理，可以进一步稳定训练过程，提升模型性能。

如果我们可视化与自注意力相关的向量和层归一化操作，它看起来会是这样：

Decoder 解码器

现在我们已经涵盖了编码器方面的多数概念，我们基本上也知道了解码器组件是如何工作的。但让我们看看它们是如何协同工作的。

编码器首先处理输入序列。然后，顶层编码器的输出被转换为一组注意力向量 Key 和 Value。这些向量将被每个解码器在其“编码器-解码器注意力”层中使用，这有助于解码器关注输入序列中的适当位置：

以下步骤重复执行，直到达到一个特殊符号，表示变压器解码器已完成输出。

每一步的输出被馈送到下一个时间步的底部解码器，解码器像编码器一样冒泡式地上升其解码结果。就像我们对编码器输入所做的那样，我们将嵌入和添加位置编码到这些解码器输入中，以指示每个单词的位置。

在解码器中，自注意力层只允许关注输出序列中的较早位置。这是通过在自注意力计算中的 softmax 步骤之前对未来的位置进行Masked掩码（将它们设置为 -inf ）来实现的。

The Final Linear and Softmax Layer (最终线性层和 Softmax 层)

解码器堆栈输出一个浮点向量。我们如何将其转换为单词？这是最终线性层的任务，随后是 Softmax 层。

线性层是一个简单的全连接神经网络，它将解码器堆栈产生的向量投影到一个称为 logits 向量的更大向量中。

我们假设我们的模型知道 10,000 个独特的英语单词（我们模型的“输出词汇表”），这些单词是从其训练数据集中学习的。

这将使 logits 向量有 10,000 个单元格宽——每个单元格对应一个独特单词的分数。这就是我们解释模型输出后跟线性层输出的方式。

softmax 层随后将这些分数转换为概率（所有都是正数，总和为 1.0）。选择概率最高的单元格，并输出与其关联的单词作为当前的输出。

The Loss Function 损失函数

假设我们正在训练我们的模型。假设这是训练阶段的第一步，我们在一个简单的例子上训练它——将“merci”翻译成“谢谢”。

这意味着我们希望输出是一个表示“谢谢”这个单词的概率分布。但由于这个模型尚未训练，这种情况短期内不太可能发生。

如何比较两个概率分布？我们只需将一个从另一个中减去。更多详情，请查看cross-entropy和 Kullback–Leibler divergence。

但是请注意，这是一个过于简化的例子。更现实的情况是，我们将使用一个超过一个单词的句子。例如——输入：“je suis étudiant”和预期输出：“我是学生”。这实际上意味着我们希望我们的模型连续输出概率分布，其中.

• 每个概率分布由一个宽度为 vocab_size 的向量表示（在我们的示例中为 6，但更现实的是 30,000 或 50,000 这样的数字）
• 第一个概率分布的最高概率在“i”这个词对应的单元格上
• 第二个概率分布的最高概率出现在与单词“am”相关的单元格中
• 如此等等，直到第五个输出分布指示“ <end of sentence> ”符号，该符号也与其关联的来自 10,000 个元素词汇表中的单元格相关。
  

  

  
  在足够大的数据集上训练模型足够长的时间后，我们希望产生的概率分布看起来像这样：
  

  

  
  现在，由于模型一次生成一个输出，我们可以假设模型正在从该概率分布中选择概率最高的单词，并丢弃其余的。这是其中一种方法（称为贪婪解码）。

另一种方法是保留，比如说，前两个单词（例如，'我'和'a'），然后在下一步中运行模型两次：一次假设第一个输出位置是单词'我'，另一次假设第一个输出位置是单词'a'，然后保留考虑位置#1 和#2 产生较少错误的版本。我们对位置#2 和#3 等重复此操作。这种方法称为“beam search(束搜索)”，在我们的例子中，bean大小为两个（意味着在所有时候，内存中保留两个部分假设（未完成的翻译）），top_beams 也为两个（意味着我们将返回两个翻译）。