大语言模型导读：一轮回答怎样生成

大语言模型的一次回答可以拆成一串连续的计算。文字先变成 token 编号，编号再变成向量。模型层不断更新这些向量，最后给词表中的候选 token 打分。选出的新 token 会加入已有文本，下一步从这里继续。

这一页讨论 decoder-only 自回归模型。聊天模型和代码模型常采用这种结构。它依据已有 token 预测下一个 token，再把结果加入上下文。后面的机器学习四节、Lab 2、Lab 3、Lab 5 会分别展开这条链中的一段。

一次回答的过程

先顺着一条消息从进入程序到输出文字的顺序走一遍。这里先看阶段之间交接什么内容，层内的矩阵计算放在后面解释。

system: 你是一个助手
user: 什么是 MPI？

↓ chat template

<system>你是一个助手</system><user>什么是 MPI？</user><assistant>

文本：      High-performance computing makes programs faster
token：    ["H", "PC", " makes", " programs", " faster"]
input_ids：[id_0, id_1, id_2, id_3, id_4]

完成一轮生成的主路径可以先记成

消息 → 模板 → token IDs → hidden states → L 个模型层
→ logits → 采样出的新 ID → 文本片段 → 追加到上下文

哪种模型结构适合逐步生成文本

Transformer 常见的外层结构有三种。它们解决的问题不同，也决定 token 可以从哪里读取信息。

先用一张 encoder-decoder 图辨认三种外层结构的差别。图的重点是上方 encoder 输出会供下方 decoder 读取；后文的 decoder-only 模型省去这一条 encoder 路径。

这是一张 翻译模型的训练图，用法语 je suis etudiant 生成英语 I am a student。它用于区分 encoder-decoder 和本文后面重点讨论的 decoder-only，不应用来记忆每个方块的颜色或线条数量。³

按下面顺序读图。

图中下半部的输入与右侧输出错开一格。例如输入 [START] 的位置要预测 I，输入 [START], I 的位置要预测 am。训练时这些位置可同时计算；真正推理时，I、am、a、student 是依次生成并追加回输入的。

本文后面的 attention、KV cache、prefill、decode 都围绕 decoder-only 模型展开。它只有下半部这种单序列因果路径，没有上半部 encoder 和中间的 cross-attention。

输入怎样变成模型认识的数字

聊天消息先按模板组织

聊天模型通常接收多轮消息。运行时会把 system、user、assistant、工具返回等内容按照该模型的模板拼成 token 序列，并插入角色标记、轮次分隔符、生成起始标记或结束标记。

结构化消息
system: 你是一个助手
user: 解释 KV cache

=== chat template 之后 ===
<system>你是一个助手</system><user>解释 KV cache</user><assistant>

模型最终看到的是第二行经过 tokenizer 后的 ID 序列。不同模型的模板不同。直接把对话文字拼接成普通字符串时，可能缺少角色标记或结束标记，输出格式也会变化。Hugging Face 的 LLM 教程将 chat template 视为调用聊天模型时的重要输入准备步骤。

tokenizer 将文本切成编号

tokenizer 由词表和切分规则组成。它把文本分成 token，再把每个 token 查成词表中的整数编号。token 可以是词片、汉字、标点或字节片段。

文本：      HPC makes programs faster
token：    ["H", "PC", " makes", " programs", " faster"]
input_ids：[id_0, id_1, id_2, id_3, id_4]

一个 token ID 只是一个整数。例如 ID 320 只是 embedding 表的一行索引。tokenizer 完成后，模型拿到的常见逻辑形状是

input_ids: [B,S]

其中 \(B\) 是 batch 内请求数，\(S\) 是每个请求当前的 token 数。训练中较短序列可以用 padding 补齐。推理服务中不同请求的长度不断变化，运行时通常用更灵活的 block 或分页方式管理缓存。

[
  [101,  52,  87,  19],
  [101, 314,  66, 902],
]

编号怎样变成向量

embedding 表把整数 ID 查成长度为 \(H\) 的浮点向量。词表大小为 \(V\) 时，embedding 权重可写为

查表后

input_ids       [B,S]       整数
embedding       [B,S,H]     浮点

位置也必须进入模型。只知道 token ID 时，“猫追狗”和“狗追猫”拥有相同 token 集合，模型无法区分顺序。位置嵌入、正弦位置编码、旋转位置编码等方法都在为 token 表示加入位置差异。⁵

这个阶段为后续层提供可学习的数值表示。经过许多层更新后，向量会同时携带 token 本身、所在位置和已读取上下文的信息。

E[320] = [0.12, -0.03, 0.71, 0.44]

模型层怎样更新 token 表示

embedding 后得到 \(X^{(0)}\in\mathbb{R}^{B\times S\times H}\)。模型会将它送入第 1 层，得到 \(X^{(1)}\)；再送入第 2 层，得到 \(X^{(2)}\)；一直重复到第 \(L\) 层。每一层的输入和输出通常都保持 [B,S,H]，但每个 token 向量的内容会不断更新。

一个常见的 pre-norm decoder layer 可写为

上标 \(\ell\) 表示第 \(\ell\) 个模型层。\(X^{(\ell)}\) 是该层输入，\(U^{(\ell)}\)、\(Z^{(\ell)}\) 是两次归一化后的中间表示，\(Y^{(\ell)}\) 是 TokenMixer 残差相加后的结果，\(X^{(\ell+1)}\) 是经过 ChannelMixer 后送往下一层的输出。

这里的部件如下。

Norm、residual、TokenMixer、ChannelMixer 位于层的不同位置。TokenMixer 处理 token 与 token 的信息交换。ChannelMixer 主要处理一个 token 自身的通道变换。

下面用一条更直接的层间数据流代替多层结构图。图中每一层的内部细节已经由上面的公式、后面的注意力图和 FFN/MoE 小节分别展开。

X^(0) [B,S,H]
  → 第 1 层：TokenMixer + ChannelMixer
X^(1) [B,S,H]
  → 第 2 层：TokenMixer + ChannelMixer
X^(2) [B,S,H]
  → ...
X^(L) [B,S,H]
  → 词表投影
logits [B,S,V]

每层都接收同形状的 hidden states，并输出同形状的 hidden states。层数增加并不表示 token 数不断增加；变化的是每个 token 向量中已经融合的上下文和通道特征。

以 \(B=1,S=4,H=8,h=2\) 为例，一层标准注意力的 shape 可以按下面顺序检查：

input hidden states X       [1,4,8]
Q / K / V after projection  [1,4,8]
reshape into heads          [1,2,4,4]
attention scores            [1,2,4,4]
context per head            [1,2,4,4]
merge heads + output proj   [1,4,8]
channel mixer output        [1,4,8]

后续 Lab 中看到的 [B,T,H]、[B,h,T,d_h]、[B,h,T,T] 等 shape，都可以放回这条链理解。

模型怎样读取历史 token

标准因果注意力

标准 attention 从 hidden states 投影出 Q、K、V：

多头注意力将隐藏维度拆成 \(h\) 个 head，每个 head 的维度为 \(d_h=H/h\)。投影并拆 head 后，Q、K、V 可表示为 [B,h,S,d_h]。

对位置 \(t\)：

1. 取当前位置的 query 向量 \(q_t\)；
2. 取允许读取位置的 key 向量 \(k_j\) 和 value 向量 \(v_j\)；
3. 计算 \(q_tk_j^T/\sqrt{d_h}\)，得到当前位置对各历史位置的分数；
4. 对分数做因果 mask 和 softmax，得到一组和为 1 的权重；
5. 使用权重对对应的 \(v_j\) 加权求和，得到新的 token 表示。

将所有位置和所有 head 放在一起计算时，分数张量可以写为：

\(M\) 是因果 mask。对于位置 \(t\)，未来位置 \(j>t\) 的分数会被屏蔽；softmax 后这些位置的权重为零。最终输出为：

下图把这条限制画成连接关系。观察每个位置向左保留的连线，再对照上面的下三角可见区域，就能将图形和 mask 矩阵对应起来。

图：TensorFlow Text Tutorial。因果 mask 决定信息可见范围。训练时它让序列中所有位置可以同时计算预测；生成时它保证新 token 只依赖已知历史。³

score = [2.0, 1.0, 0.0]

weight = [0.665, 0.245, 0.090]

v0 = [1, 0]
v1 = [0, 2]
v2 = [2, 1]

0.665 * v0 + 0.245 * v1 + 0.090 * v2
= [0.845, 0.580]

对于单个 head，\(QK^T\) 的形状是 [S,S]。序列长度翻倍后，分数矩阵元素数量约变为四倍；标准 attention 的计算和中间访问都会随 \(S^2\) 增长。这是长上下文模型需要关注 attention 算法和显存访问的原因。

KV cache 就是后一条在 Transformer 注意力中的具体实现：缓存历史 K/V，避免每次 decode 都重新计算历史 token 的投影。

注意力相关名称分别在改什么

注意力有关的名称处理的对象不同：

FlashAttention 保留标准 attention 的数学结果，但通过分块计算和 online softmax 避免将完整 [S,S] 分数矩阵写回高带宽显存。它可以配合 MHA、MQA、GQA 等 K/V 组织方式。⁶

MHA、MQA、GQA 与 MLA

MHA 是 Multi-Head Attention（多头注意力），MQA 是 Multi-Query Attention（多查询注意力），GQA 是 Grouped-Query Attention（分组查询注意力），MLA 是 Multi-head Latent Attention（多头潜变量注意力）。这些机制主要影响 K/V 的数量和表示，进而影响 KV cache 的容量、decode 时的读取量和注意力实现。

接下来的两张图分别强调 head 共享和缓存表示。第一张只比较 MHA、GQA、MQA；第二张再加入 MLA，因此阅读时不要把两张图中的视觉元素逐一对应。

图：GQA 论文。图中的连线表示 query head 与 K/V head 的共享关系；共享越多，推理时需要保存和读取的 K/V 越少。⁹

图：DeepSeek-V2 论文。MLA 与 MHA/GQA/MQA 的区别在于缓存表示本身；它不只是减少 K/V head 数。¹⁰

一个注意力层采用其中一种主要 K/V 组织方式。GQA 在 MHA 的质量和 MQA 的推理速度之间折中；MLA 使用另一条路径压缩缓存。

另一类读取历史的方式：Gated DeltaNet

Gated DeltaNet（GDN，门控 Delta 网络）是一类用递推状态保存历史信息的 TokenMixer。标准 attention 通过历史 K/V 计算当前位置对历史位置的权重。线性注意力、状态空间模型和 Gated DeltaNet 则维护一个随时间更新的状态，将历史压入状态而不是显式保存完整的注意力分数矩阵。

Gated DeltaNet 将门控记忆控制与 delta update rule 结合。完整公式包含多个投影、门控前缀和及状态更新。从数据依赖看，每个 token 的状态变化可概括为

\(g_t\) 控制已有状态保留或遗忘的程度，\(k_t\)、\(v_t\) 参与写入，\(\beta_t\) 控制更新。这个式子用于说明依赖方向。\(S_t\) 依赖 \(S_{t-1}\)，因此朴素实现按 token 顺序递推。⁷

Gated DeltaNet 与标准 attention 位于同一个 TokenMixer 槽位。模型可以采用纯 Gated DeltaNet，也可以在不同层混合 Gated DeltaNet、滑动窗口 attention 或其他 TokenMixer；具体组合由模型架构决定。MoE 位于 ChannelMixer 槽位，因而可以和 Gated DeltaNet 同时出现在一个模型层中。

Lab 3 处理的是 Gated DeltaNet 的 prefill。序列可以切成固定长度的 chunk。chunk 边界仍传递状态，chunk 内的门控前缀、三角结构和矩阵乘可以组织为块计算。GPU 优化的对象由此变成 chunk 内的 GEMM（general matrix multiplication，通用矩阵乘法）、状态 tile、数据搬运和 warp（GPU 通常以 32 个线程为一组调度的执行组）协作。

输入 Q / K / V / gate / beta
→ chunk 0：用初始状态 S_0 计算，得到输出块 O_0 和状态 S_1
→ chunk 1：读取 S_1，得到 O_1 和 S_2
→ …
→ 拼接各 chunk 的输出

FFN、门控与 MoE 怎样改写一个 token

attention 或状态模块负责 token 与 token 的信息交换。前馈网络（feed-forward network，FFN）主要处理单个 token 的通道维度。一个普通 dense FFN 可写成

\(W_1\) 通常将隐藏维度从 \(H\) 扩展到更宽的中间维度，激活函数后再由 \(W_2\) 投回 \(H\)。这个操作对 [B,S,H] 中每一个 token 位置独立执行；它不直接读取其他 token。

SwiGLU（Swish Gated Linear Unit，使用 Swish/SiLU 激活的门控线性单元）和 GEGLU（GELU Gated Linear Unit，使用 GELU 激活的门控线性单元）等门控 FFN 会从同一个输入生成两路中间表示，其中一路经过激活函数后作为门，逐元素调制另一路。可概括为

这里的 \(\odot\) 是逐元素乘法。它仍然逐 token 计算，不负责不同 token 的信息交换。

MoE 将一个 dense FFN 换成多个 expert FFN。设有 \(E\) 个 expert，router 对每个 token 输出 [E] 个分数。top-k 表示保留分数最高的 \(k\) 个 expert 及其权重。随后系统按 expert 重排 token，将同一 expert 的 token 组织成矩阵，再执行各 expert 的 FFN。

hidden states [B,S,H]
→ router scores [B,S,E]
→ top-k expert IDs + gate weights
→ dispatch：按 expert 重排 token
→ expert FFN / GEMM
→ combine：按 gate 权重合并
→ hidden states [B,S,H]

对于 token \(x_t\)，router 选中 expert \(e_1,e_2\) 时，输出可写为

MoE 与 dense FFN 是同一槽位的替代关系；一个 expert 内部仍可以使用普通 FFN 或 SwiGLU。MoE 的额外代价来自 router、token dispatch、combine、expert 负载不均和可能的 All-to-All（全互换）通信。

读这张图时先只看红色框。红框上方和下方的 attention、Add & Norm 结构保持不变，变化发生在原 FFN 所在的位置。中间栏的 gating 为 token 选择 expert。右侧将 expert 分到不同设备，token 先按目标 expert 分发，expert FFN 完成计算后再把结果按原 token 位置合并。论文画的是 encoder 示例，decoder-only 模型中的 MoE 也遵循同样的 FFN 替换与路由过程。⁸

Lab 2 优化的重点位于这条局部路径。CPU 向量化、低精度矩阵乘法和缓存分块集中在 expert FFN 的 GEMM；router、token dispatch 和 combine 决定专家矩阵的实际 shape，也会影响负载均衡和端到端时间。

expert 0: 0.05
expert 1: 0.60
expert 2: 0.10
expert 3: 0.25

几种 gate 分别控制什么

这些 gate 可以同时出现在一个模型中，因为它们控制的位置、通道、专家和状态不同。

模型怎样给下一个 token 打分

最后一个模型层仍输出 [B,S,H]。语言模型头将 hidden states 投影到词表大小。

\(W_{\mathrm{vocab}}\) 是从 hidden size 投影到词表大小 \(V\) 的输出权重，\(b_{\mathrm{vocab}}\) 是对应偏置。

logits 是未归一化分数。对最后一个位置的长度为 \(V\) 的 logits 做 softmax，可得到词表中每个 token 的概率。采样器从这组概率中选择下一个 token。

Temperature、top-k、top-p 是输出采样策略，不属于 Transformer 层。它们可以组合使用，例如先做 temperature 缩放，再在 top-p 候选中采样。不同设置会改变输出多样性、可复现性和评测结果。

TensorFlow Text Tutorial 的图中，multinomial 是一种按概率采样方式。greedy、top-k、top-p 可替换该选择步骤。⁴

采样器输出的是整数 next_token_id。tokenizer 的 decode 函数将 ID 与之前生成的 IDs 按词表规则还原为文本片段。单个 token 未必对应一个完整词，因此服务端通常以流式方式持续追加文本。停止条件也在模型层之外，例如 EOS token、最大生成长度、指定 stop sequence 或用户取消请求。

[2.0, 1.0, 0.0, -1.0]

训练时怎样知道预测是否正确

训练语言模型时，一条 token 序列同时提供多个预测目标。

输入 IDs。 [BOS（Beginning Of Sequence，序列开始标记）, 我, 喜欢, 并行, 计算]
标签 IDs。 [我,   喜欢, 并行, 计算, EOS]

模型在每个位置输出一个长度为 \(V\) 的 logits 向量。第一个位置读取 BOS 后预测 我，第二个位置读取 BOS, 我 后预测 喜欢，依此类推。因果 mask 使这些位置在一次前向中能够并行计算，同时仍保持每个位置只能读取左侧历史。

若第 \(t\) 个位置对真实 token 的概率为 \(p_t\)，一个序列的交叉熵可写为

\(\mathcal{M}\) 是需要计分的位置集合，\(N=|\mathcal{M}|\) 是其中的位置数，\(p_t\) 是第 \(t\) 个位置分给真实下一个 token 的概率。

集合 \(\mathcal{M}\) 只包含需要计分的位置；padding、提示词中的某些部分或已被 mask 的位置可以从损失中排除。前向传播得到 logits 和 loss，反向传播计算参数梯度，优化器更新 embedding、投影矩阵、Norm 参数和其他可训练权重。训练时需要保存 activation 供反向使用，因此显存账本与推理不同。⁵

input_ids [B,S]
→ L 个模型层
→ logits [B,S,V]
→ 与 shifted labels [B,S] 计算 cross entropy
→ backward
→ optimizer step

训练中的 TokenMixer、FFN、MoE 与推理使用相同数学层。训练还要处理整段序列的标签、保存 activation、计算梯度和更新权重。

Prefill、Decode 与 KV cache 怎样复用历史

推理可分成两个阶段。

1. Prefill 一次处理 prompt 中已有的 \(S\) 个 token，计算各层 K/V 并写入 KV cache。矩阵乘法较大，GPU 容易获得较高并行度。
2. Decode 每次只加入一个新 token，读取历史 KV、计算新 token 的 K/V 和输出概率，再把新 K/V 追加到缓存。单步工作较小，cache 读取和请求调度常更显著。

KV cache 是推理运行时状态。它保存各层历史 token 的 K/V。MHA、MQA、GQA、MLA 会改变缓存的表示和大小，量化或分页会改变它的存储与管理方式。Prefill 与 decode 是同一模型在不同序列阶段的执行模式。

若每层有 \(H_{kv}\) 个 K/V head、每个 head 维度为 \(d_h\)、元素字节数为 \(b\)，一个 batch 的缓存量级可写为

前面的 2 分别对应 K 和 V。这个式子没有包含框架管理和对齐开销，但足以说明为什么长上下文、并发请求和 MHA 的 K/V head 数会迅速推高显存需求。GQA/MQA 通过减少 \(H_{kv}\)，MLA 通过改变 K/V 的缓存表示，量化通过减小 \(b\)，它们都在影响这条式子的不同因子。

prompt IDs
→ prefill
→ 每层 KV cache
→ logits for last prompt token
→ sample token_1
→ decode(token_1, cache)
→ cache 追加 token_1 的 K/V
→ sample token_2
→ …

Prefill 与 decode 使用同一层权重，但张量形状不同。设 prompt 长度为 \(S\)。

这也是服务端把 prefill 和 decode 分开调度的原因。Prefill 有较大的矩阵乘和较多并行位置。decode 单步矩阵较小，却反复读取越来越长的缓存。

在 decode 的第 \(t\) 步，每层只需要为新 token 计算一行 \(q_t,k_t,v_t\)。\(q_t\) 与缓存的 \(K_{\leq t}\) 相乘得到长度为 \(t\) 的分数，随后与缓存的 \(V_{\leq t}\) 加权求和。新 \(k_t,v_t\) 会追加到该层 cache。历史 token 的 K/V 可以直接复用。Q 没有被长期缓存，因为下一步生成时需要的是新 token 的 query。

Lab 5 覆盖这条完整路径中的多个位置。GPTQ（Generative Pre-trained Transformer Quantization，一种训练后量化方法）改变线性层权重的表示与反量化。KV cache 管理影响长上下文容量。算子融合影响每层读取和写回。continuous batching（连续批处理）会在请求到达和完成时动态组织 batch；paged cache（分页缓存）把 KV cache 分成固定块管理。二者与请求调度共同决定多个请求怎样共享 GPU 时间。

训练和推理分别保存什么

训练和推理使用相同的层计算，但保留的状态不同。

分布式训练中的数据并行、完全分片数据并行、张量并行和流水线并行，处理训练状态和计算如何分布到多张卡。它们改变参数、activation、梯度和通信发生的位置。

与后续内容的联系

有用的话请给我个 star => 本站总浏览