1. NLP是什么？#

NLP(Normal Language Process)即常见的自然语言处理，它是目前AI最热门的领域之一，旨在让计算机能够理解、解释和生成人类语言。

用更简单的话来说，NLP就是教计算机读懂、听懂并说人话的技术。

2. Transformer之前NLP的瓶颈？#

在Transformer出现之前，NLP领域的主流是基于RNN/LSTM的序列模型。它们虽然强大，但其顺序处理的天性导致了并行化能力差和长程依赖建模能力不足这两个核心瓶颈。

正是为了突破这些瓶颈，Transformer模型应运而生。 它通过自注意力机制和完全并行化的架构，一举解决了以上所有问题，成为了NLP领域真正的游戏规则改变者。

3. Transformer的地位和发展历程#

4. 序列模型的基本思路与根本诉求#

序列数据是一种按照特定顺序排列的数据，如股票价格的历史记录、WiFi毫米波信号等。序列数据有着样本与样本相关联的特点，对时间序列数据而言，每个样本代表一个时间点，样本与样本之间的关联就是时间点与时间点之间的关联。而对于文本序列而言，每个字或词的语义信息就是关联的内容，要理解一个句子的含义，就必须理解样本与样本之间的关系。

序列算法的根本诉求是要建立样本与样本之间的关联，并借助这种关联提炼出对序列数据的理解。

要理解Transformer模型的本质，首先我们要回归到序列数据、序列模型这些基本概念上来。序列数据是一种按照特定顺序排列的数据，它在现实世界中无处不在，例如股票价格的历史记录、语音信号、文本数据、视频数据等等，主要是按照某种特定顺序排列、且该顺序不能轻易被打乱的数据都被称之为是序列数据。序列数据有着“样本与样本有关联”的特点；对时间序列数据而言，每个样本就是一个时间点，因此样本与样本之间的关联就是时间点与时间点之间的关联。对文字数据而言，每个样本就是一个字/一个词，因此样本与样本之间的关联就是字与字之间、词与词之间的语义关联。很显然，要理解一个时间序列的规律、要理解一个完整的句子所表达的含义，就必须要理解样本与样本之间的关系。

对于一般表格类数据，我们一般重点研究特征与标签之间的关联，但在序列数据中，众多的本质规律与底层逻辑都隐藏在其样本与样本之间的关联中，这让序列数据无法适用于一般的机器学习与深度学习算法。这是我们要创造专门处理序列数据的算法的根本原因。在深度学习与机器学习的世界中，序列算法的根本诉求是要建立样本与样本之间的关联，并借助这种关联提炼出对序列数据的理解。唯有找出样本与样本之间的关联、建立起样本与样本之间的根本联系，序列模型才能够对序列数据实现分析、理解和预测。

在机器学习和深度学习的世界当中，存在众多经典且有效的序列模型。这些模型通过如下的方式来建立样本与样本之间的关联

• ARIMA家族算法群

过去影响未来，因此未来的值由过去的值加权求和而成，以此构建样本与样本之间的关联。

$AR模型：y_t = c + w_1 y_{t-1} + w_2 y_{t-2} + \dots + w_p y_{t-p} + \varepsilon_t$

• 循环网络家族

遍历时间点/样本点，将过去的时间上的信息传递存储在中间变量中，传递给下一个时间点，以此构建样本和样本之间的关联。

$RNN模型：h_t = W_{xh}\cdot x_t + W_{hh}\cdot h_{t-1}$

$LSTM模型：\tilde{C}_t = tanh(W_{xi} \cdot x_t + W_{hi} \cdot h_{t-1} + b_i)$

• 卷积网络家族

使用卷积核扫描时间点/样本点，将上下文信息通过卷积计算整合到一起，以此构建样本和样本之间的关联。如下图所示，蓝绿色方框中携带权重$w$，权重与样本值对应位置元素相乘相加后生成标量，这是一个加权求和过程。

总结这些序列算法的经验，可以发现它们都是在用加权求和的方式来建立样本与样本之间的关联，因此在序列算法的发展过程中，核心问题已经由如何建立样本之间的关联转变成了如何合理对样本进行加权求和，即权重计算方式，在这个问题上，正如首次提出Transformer的论文名称——Attention is All You Need，目前最佳的权重注意力计算方式就是 注意力机制。