当我们在聊天界面输入“the cat sat on the mat”并期待大语言模型生成下一个词时，背后实际上是一个由数十亿参数驱动的复杂计算过程。Transformer架构作为现代大语言模型的核心，其内部机制远不止简单的“模式匹配”，而是通过多层神经网络对语言结构进行深度建模。本文将以这个简单句子为例，深入剖析Transformer模型从输入到输出的完整处理流程，揭示其如何实现对自然语言的“理解”。
**一、输入预处理：从离散符号到连续向量**
在文本进入模型之前，需要经过三个关键预处理步骤，将人类可读的文本转化为机器可处理的数学表示。
首先，**分词（Tokenization）** 将连续文本切分为标准化的token单位。现代分词器通常采用子词分词策略，如Byte-Pair Encoding（BPE）或WordPiece。以“cat”为例，它可能被映射为token ID 537，“sat”对应1024。这种设计使得模型能够处理未见过的词汇——通过组合已知子词来构建新词。典型的大语言模型词表包含5万到10万个token，平衡了表示能力和计算效率。
接着，**词嵌入（Token Embeddings）** 将每个token ID转换为高维向量表示。假设使用768维嵌入空间，“cat”会变成一个包含768个浮点数的向量。这些数值并非随机分配，而是在预训练过程中学习得到的，使得语义相近的词（如“cat”和“kitten”）在向量空间中距离较近，而语义无关的词（如“cat”和“computer”）则相距较远。这种分布式表示是神经网络理解语言的基础。
然而，纯粹的词嵌入无法区分词序信息——“cat sat on mat”和“mat sat on cat”会有相同的词嵌入集合。为此，**位置编码（Positional Encoding）** 通过数学函数为每个位置生成独特的向量。最常用的方法是使用正弦和余弦函数：
PE(pos, 2i) = sin(pos/10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos/10000^(2i/d_model))
其中pos表示位置，i表示维度索引，d_model是模型维度（如768）。这种编码方式具有两个重要特性：一是每个位置都有唯一编码，二是相对位置关系可以通过线性变换表示。经过位置编码后，每个token的768维向量既包含“是什么”（语义信息）也包含“在哪里”（位置信息）。
**二、Transformer层：多层信息处理与整合**
预处理后的向量序列进入Transformer层堆栈。现代大语言模型通常包含12到96层Transformer块，每层都包含两个核心组件：多头注意力机制和前馈神经网络。
**多头注意力机制（Multi-Head Attention）** 是Transformer架构的革命性创新。以12头注意力为例，每个头学习关注不同的语言模式：第1头可能专注主谓关系，发现“cat”和“sat”的连接；第3头可能处理介词短语，识别“on the mat”的结构；第8头可能捕捉长距离依赖，连接句首和句尾的元素。这种并行处理能力使模型能够同时考虑多种语言关系。
注意力机制的核心是Query-Key-Value计算框架。每个token生成三个向量：Query表示“我需要什么信息”，Key表示“我能提供什么信息”，Value表示“我的实际内容”。以“cat”为例，它的Query可能表达“我需要动词信息”，而“sat”的Key表达“我能提供动词信息”，两者匹配度高。在训练过程中，模型自动学习让具有互补语法功能的词建立强连接——动物名词的Key向量相似，动词的Key向量相似，这样主语就能准确找到谓语动词。
计算过程如下：每个token的Query向量与序列中所有token的Key向量计算点积相似度，得到原始注意力分数；这些分数经过softmax函数归一化为权重分布（总和为1）；最后用这些权重对Value向量进行加权求和，生成新的token表示。多头机制中，每个头输出维度为总维度除以头数（如768/12=64），最后拼接成完整的768维输出。
**前馈神经网络（Feed-Forward Network）** 在注意力机制之后对每个token进行独立处理。这是一个两层的全连接网络：第一层将768维扩展到3072维（通常是4倍扩展），使用ReLU激活函数引入非线性；第二层压缩回768维。FFN可以理解为对注意力层输出的“后处理器”，能够识别复杂的特征组合，如“动物+动作”或“地点+状态”的模式。
每个子层（注意力和FFN）都配有**残差连接**和**层归一化**。残差连接将子层输出与输入相加，确保梯度在深层网络中有效传播，防止信息丢失。层归一化则稳定训练过程，防止激活值过大或过小导致梯度消失或爆炸。
**三、多层堆叠的渐进式理解**
Transformer层的多层堆叠实现了对语言结构的渐进式理解。在12层模型中，不同层次承担不同功能：前几层（1-4层）主要关注局部语法结构，如词性标注和短语边界识别；中间层（5-8层）处理句法关系，建立主谓宾等语法结构；后几层（9-12层）整合语义信息，理解整句含义和上下文关系。
以“cat”的向量表示为例，它在每层都会更新：第1层后，可能包含“名词”和“动物”的初级语义；第6层后，包含“句子主语”和“动作执行者”的句法角色；第12层后，则包含“执行坐这个动作的猫”的完整语义，以及与“mat”的空间关系信息。这种层次化处理模仿了人类理解语言的认知过程——从词汇到短语再到句子。
**四、输出生成：从连续向量回到离散词汇**
经过所有Transformer层处理后，每个token都有一个丰富的768维表示。对于生成任务，模型关注最后一个token“mat”的表示，因为它需要基于完整上下文预测下一个词。
首先，**线性投影层**将768维向量投影到词汇表大小的维度（如50257维）。这一步的权重矩阵包含了词汇表中每个词的“解码”向量，本质上是在学习如何将内部表示映射回具体的词汇选择。
接着，**Softmax归一化**将原始分数（logits）转换为概率分布。所有可能的下一个token概率之和为1。对于“the cat sat on the mat”这个上下文，可能的输出概率分布可能是：“purred”（0.15）、“meowed”（0.12）、“jumped”（0.08）、“exploded”（0.0001）等。模型通常会选择概率最高的token，但也可能使用温度采样、top-k采样或核采样等策略，在确定性和创造性之间取得平衡。
**五、架构设计的哲学意义**
Transformer架构的精妙之处在于其将语言处理转化为连续的几何变换。模型学会了将离散的语言符号映射到高维向量空间，在这个空间中进行复杂的矩阵运算来捕捉语言规律，最后再映射回离散的词汇空间产生输出。每个数字、每次矩阵乘法都承载着对语言结构的理解——从简单的词性关系到复杂的语义推理。
这种设计使Transformer具有几个关键优势：并行处理能力显著提高了训练和推理效率；自注意力机制能够直接建模任意距离的依赖关系，克服了RNN的顺序处理限制；模块化设计便于扩展和优化。正是这些特性使Transformer成为大语言模型的基础架构，推动了自然语言处理领域的革命性进展。
随着模型规模的不断扩大（从数百万参数到数千亿参数），Transformer展现出了令人惊讶的涌现能力——在足够大的规模下，模型开始表现出小规模时不具备的复杂推理、代码生成和多模态理解能力。这提示我们，Transformer不仅仅是一个有效的工程架构，更可能触及了智能表示的某些本质特征。
原文参考：https://machinelearningmastery.com/the-journey-of-a-token-what-really-happens-inside-a-transformer/
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/5930
