章节总览
模型架构与工程平台 / 28 · 正文
原目录

通过 DeepSeek 与 Qwen3 比较,梳理分词、注意力、MoE、训练和推理架构。

LLM 技术总结 — DeepSeek 与 Qwen3 架构对比

来源:个人学习笔记 PDF(59 页),2026-09-16 整理 主题:以 DeepSeek V3/R1 和 Qwen3 技术报告为蓝本,系统梳理 LLM 从模型架构、部署到训练的全栈技术 定位:技术学习笔记,对比两大开源模型族的设计选择与工程实现


一、背景

为什么重读技术报告

  • 技术报告是集大成的精华,像正确答案数据源;具体回答取决于用户的 query 和 instruction。
  • 再读技术报告能带着思考从中挖取更多有价值的知识。
  • 业务上遇见的关键思路或技术细节问题,报告中已经给了观点或建议。

对比才能加深认识

维度 DeepSeek Qwen3
核心目标 提升性能 + 降低成本 数据合成能力;思考/非思考模式切换;模型变小不损失效果
关注重点 Attention 对比、MoE 对比、后训练对比 同上

论知识储备的重要性

  • 用不上并非意味着不必懂:理论认识不通畅,技术把握不到位,后续从业会崩。
  • 希望从主流技术上归纳出方法论,融会贯通。
  • 如何跟紧技术脚步:基本扫清理障碍 → 加强经典思路和基本组件熟练度 → 能读 HuggingFace 和官方 GitHub 核心源码 → 不断思考、更新认识。

二、模型

2.1 Input

Tokenization

BPE(Byte Pair Encoding)

  • 训练时高频组合优先合并,应用时按相同顺序匹配,确保一致性。
  • 贪婪匹配最长子词。
  • 结束符 </w> 很关键,区分子词在末尾还是其它部分。
  • 若无法完全匹配,拆分为已知子词和字符;若分割后某一部分仍不在词表,用特殊标记 <unk> 表示。

BBPE(Byte-level BPE)

  • 将输入文本转为字节序列,每个字符可能由 1-4 个字节组成。基础词表包含 256 个字节值(0x00-0xFF)。
  • 相比 BPE 转码后可能发生混乱,BBPE 能更好地支持多种语言和特殊符号;因为字节的基础词表固定,解决了未登录词(OOV)的问题。
  • 字节序列可能比字符序列更长,可能增加计算开销;BBPE 需要更大语料库才能学习有效合并规则。
  • 与 BPE 方法相同:训练中不断将最高频字节对合并为新子词,直到无法合并或者词表已达到预设大小;应用时按训练构建的合并规则贪婪匹配最长子词。

Position

  • 可训练的绝对位置编码:最大长度在预设定好之后就被固定了,不具备外推的性质。
  • Sinusoidal 见下文 RoPE 部分。

Mask

  • PaddingMask:与 batch 中长度最大的序列对齐,左侧 Padding 处理。
  • CasualMask:
    mask = torch.full((seqlen, seqlen), float("-inf"), device=tokens.device).triu_(1)
    

2.2 Transformer Block

Self-Attention

MHA(Multi-Head Attention)
  • 以查询向量 Q 为基础,通过计算查询向量与所有关键向量 K 之间的点积,得到注意力矩阵,用于对关联的向量 V 加权求和。
  • Q 数量决定该模块输出 V 个数。
  • K 数量决定线性加权个数(注意力个数),维度必须与 Q 维度相同。
  • V 维度与 Q 维度可以不同。
  • multi head:拆开分别 Softmax 以实现多重独立考虑注意力(鸡蛋不要放一个篮子里)。
  • dot 后除根号 d 目的:
    • Softmax 输入扩大后,最大输入对应输出的主导作用更加显著,其它注意力影响减弱,不符合设计初衷。
    • 大输入值会导致反向传播中梯度被 Softmax 层杀死,绝大多数元素都会减慢学习速度甚至完全停止学习。
    • 不缩放将导致大方差(假定每一维独立同分布,则方差与维度大小成正比),即输出值不稳定,给学习过程带来不利影响。
  • 缓存量:2 * layer_num * head_num * head_dim
RoPE(Rotary Position Embedding)

设计目标:

  • 内积除 Q 和 K 外只和相对位置(相对远近)有关。
  • 具备远程衰减性质。
  • 有出色的外推性质。
  • 变换解释性强,计算简单。

Sinusoidal 编码推导:

对于固定位置距离 k,PE(t+k) 可以表示成 PE(t) 的线性函数:

PE(t, 2i) = sin(t * w_{2i})
PE(t, 2i+1) = cos(t * w_{2i})
w_{2i} = 1 / 10000^{2i/d}

两个位置向量的内积只和相对位置 k 有关:

PE(t) · PE(t+k) = Σ_{i=0}^{d/2-1} cos(k * w_{2i})
  • base 越大转速 w 越小,常见选择为 10000,实验后认为 10000 比较合适。
  • 把 i 看作一个超参,不同 i 下转速 w 不同,已知 T = 2π/w;i 越大 w 越小 T 就越大,最小 2π,最大 base*2π。
  • 充分利用取值区间,能让位置信息不易失真,有助于提升训练的稳定性。低维度侧重局部细节和近距离关系,高维度侧重全局信息和远距离依赖。

RoPE 的核心思想:

找到一种位置编码,使得内积满足:< f_q(x_m, m), f_k(x_n, n) > = g(x_m, x_n, m-n)

先考虑 2 维,在复数表达和向量表达间切换:

  • 将 d 维向量每两维看作一个复数,奇偶分别对应实部与虚部,欧拉公式展开后可以得到结果。
  • 再从复数换回向量表达,就成了一个由正余弦公式组成的矩阵乘 q 与 k,该矩阵称 RoPE 旋转矩阵。

旋转矩阵是正交矩阵,意味着它不会改变向量的模,保持了模型的稳定性。进一步,f_q(x_m, m) 和 f_k(x_n, n) 的内积刚好只与 q、k 和相对位置有关,于是从 2 维推广到(偶数)高维,形成一个由二维旋转矩阵构成的分块对角矩阵。

DeepSeek 与 Qwen 在 RoPE 计算上的实现差异:

  • DeepSeek 借助复数计算(同 LLaMA),可以推导证明 Re[(W_q x_m)(W_k x_n)* e^{i(m-n)θ}] 就是内积结果。
  • 考虑到 RoPE 矩阵的稀疏性,直接用矩阵乘法实现会很浪费算力,Qwen 采用了逐位对应相乘再向量相加的优化计算方法。

RoPE 的外推问题与解决方案:

  • RoPE 仍然存在外推问题,即推理长度超过训练长度之后,模型的效果会有显著的崩坏。

线性内插(Linear Interpolation):

  • 对所有位置维度进行均匀缩放,这忽视了不同频率对位置信息的敏感度差异。
  • 推理时长度 L' > 训练最大长度 L 时,位置 m 会被压缩到 m * L/L',缩放因子 s = L/L'。

YaRN(Yet another RoPE extensioN):

  • 采用了分段插值策略。先指定阈值来划分高中低频,高频下不进行插值(不负责远距离),低频下按缩放因子 s 线性插值,中频则基于 s、T 等折中计算新因子再线性插值。
  • 线性内插和 YaRN 都会使 qk 离得更近,它们的点积结果会增大,进而导致 Softmax 操作过于"锐化",注意力分布集中于少数位置,削弱了模型对全局上下文的关注能力。所以引入了注意力温度因子来调整注意力分布。
# 注意力分布调整
self.Softmax_scale = self.qk_head_dim ** -0.5
if args.max_seq_len > args.original_seq_len:
    mscale = 0.1 * args.mscale * math.log(args.rope_factor) + 1.0
    self.Softmax_scale = self.Softmax_scale * mscale * mscale
  • 线性内插和 YaRN 一般要用长文本数据微调才能正常使用,其中 YaRN 需要更少的数据就能达到更好的效果。
GQA(Grouped-Query Attention)
  • Config 中 KV heads 数量少于 Q heads,以此来减少缓存。缓存量:2 * layer_num * group_num * head_dim
  • 为了实现 GQA,需要对 KV 的 hidden states 做 repeat。其它计算与 MHA 相同。
  • Qwen3 在 qkv 的变换后,对 Q 和 K 额外做了 RMSNorm,然后对 Q 和 K 做 RoPE。
MLA(Multi-head Latent Attention)
  • K 与 V 的 Cache 共享。缓存量:(9/2) * layer_num * head_dim

各权重矩阵:

  • w_{qa}:(dim, q_lora_rank)
  • w_{qb}:(q_lora_rank, head_num*(qk_nope_head_dim+qk_rope_head_dim)),ColumnParallel
  • w_{kva}:(dim, kv_lora_rank+qk_rope_head_dim)
  • w_{kvb}:(kv_lora_rank, head_num*(qk_nope_head_dim+v_dim)),ColumnParallel
  • w_o:(head_num*v_dim, dim),RowParallel

如何加 RoPE:

  • 不加 RoPE 时,可以充分利用矩阵吸收(结合律)特性:不加 RoPE,我们可以提前计算好 (W_{i}^{UQ})^T W_{i}^{UK},也就是把 W^{UK} 吸收到 W^{UQ} 中。
  • 通过类似的计算方式,可以处理将 v 的变换矩阵 W^{UV} 吸收到最终的结果变换矩阵 W^O 中。这样也不用实际计算和缓存 v 的值,而是只缓存跟 k 一样的 c_t^{KV}。
  • 直接做 RoPE 就没法做矩阵吸收计算,结果会随相对位置变化而变化。

解耦式 RoPE:

  • 额外为 q 与 k 设计一个小的向量并引入 RoPE,向量拼接后再做内积:

    q_{t,i}^T × k_{j,i} = [q_{t,i}^C; q_{t,i}^R]^T × [k_{j,i}^C; k_{j,i}^R] = q_{t,i}^C k_{j,i}^C + q_{t,i}^R k_t^R
    
  • 前一项还是可以通过矩阵吸收处理,后一项按正常 MQA 的方式计算。

  • 注意力计算:因为 qkv 都先做了低秩映射,所以相比 MHA 计算量也降低了。

  • MLA 先压缩再恢复,设压缩系数为 k,与直接映射相比计算复杂度从 sd² 变成 2sd²/k。

DSA(DeepSeek Sparse Attention)
  • 目的:在不损失长上下文理解能力的前提下,解决长上下文计算复杂度过高的问题。
  • 复用 MLA 框架。
  • 通过轻量的索引分数计算得出查询 Token 和前文 Token 的关联重要性:
    I_{t,s} = Σ_{j=1}^{H^I} w_{t,j}^I · ReLU(q_{t,j}^I · k_{s,j}^I)
    
    • H^I:索引器头数量通常为 8/16,相比传统 MHA 的头数通常为 32/64。
    • w^I:索引器头的权重,由 Token_t 经过线性层映射得到。
    • ReLU:计算简单,提升计算吞吐量。
    • 全程采用 FP8 精度计算,内存占用减少 75%,计算速度提升 2-4 倍。
  • 对 I_{t,s} 按降序排序,选定前 TopK 个数对应的 Token 构成选中集合,进一步取出它们的 KV 对。选中比例仅为密集模式的 1.6%。
  • 按标 MQA 进行后续运算,复杂度从 O(L²) 降至 O(Lk)。
  • 额外缓存 K Cache 存储前文 Token 的键向量。
  • 通过精细的两阶段训练策略解决稀疏化可能带来的性能损失:
    • 密集预热阶段:冻结主模型参数,仅训练索引器模仿原密集注意力的分布,为使索引器输出对齐注意力分布,使用 KL 散度。
    • 稀疏训练阶段:解冻所有参数,引入 Top-K Token 选择机制,只考虑被选中的 Token 集合 S_t。索引器损失单独拿出来优化。

2.3 MLP

  • 激活函数一般使用 SiLU,也称为 Swish 函数:silu(x) = x × sigmoid(x)

DeepSeek 与 Qwen 实现对比:

DeepSeek(GLU 风格):

def forward(self, x):
    return self.w2(F.silu(self.w1(x)) * self.w3(x))

Qwen3:

def forward(self, x):
    down_proj = self.down_proj(self.act_fn(self.gate_proj(x)) * self.up_proj(x))
    return down_proj

2.4 MoE

  • MLP 层是模型储存知识的主要载体(这部分参数占比超 90%),让更多专家学得更细更精并在特定问题上激活对此擅长的专家是一种更优思路。
  • 对每个 Token 用 GATE(非并行计算)选择出 TopK 个 Expert,然后把每个 Token 正确分配到一组路由由选定的专家中处理(all-to-all dispatch),再将它们的输出进行加权融合(all-to-all combine,每个激活了的 Expert 都做出了贡献),得到最终的输出。

MoE 计算公式:

h_t' = u_t + Σ_{i=1}^{N_s} FFN_i^{(s)}(u_t) + Σ_{i=1}^{N_r} g_{i,t} FFN_i^{(r)}(u_t)
g_{i,t} = g'_{i,t} / Σ_{j=1}^{N_r} g'_{j,t}
g'_{i,t} = s_{i,t} if s_{i,t} ∈ TopK({s_{j,t}|1≤j≤N_r}, K_r), else 0
s_{i,t} = Sigmoid(u_t^T e_i)

DeepSeek 和 Qwen3 MoE 实现对比:

项目 DeepSeek Qwen3
路由计算 默认 Sigmoid Softmax
路由机制 分组 TopK,训练学习时就赋予了对每个 Group 的"特殊期待" TopK,没有组的概念
专家配比 1共享,8(from 256)融合 0共享,8(from 128)融合
归一化方式 Sigmoid 计算下,TopK 权重 L1 归一化 Softmax 计算下,可选 TopK 权重 L1 归一化
专家分配 底下3层是 MLP,其余是 MoE 可配置每隔几层使用 MoE
负载均衡机制 无辅助损失的负载均衡策略,引入可更新偏置项 通过 router_logits 计算辅助损失,防止专家极化
计算优化 — 使用 index_add 操作实现零浪费的专家计算

2.5 Engram

  • Transformer 架构缺乏原生稀疏性的知识检索机制,迫使它必须通过计算来低效地模拟检索过程。
  • 新组件专门负责存储和检索记忆,而让 Attention/MoE 更专注地负责逻辑推理和决策。
  • 提高记忆单元的语义密度:对原始 Token 进行文本规范化,将语义等价的 Token 映射到同一个 ID。

基于哈希的 N-gram:

  • 词表为 V,暴力组合的方式空间严重浪费,且很多组合很难出现,所以采用哈希方法。
  • 高效哈希方法:H(t_0, t_1, ..., t_{n-1}) = (m_0 * t_0 ⊕ m_1 * t_1 ⊕ ... ⊕ m_{n-1} * t_{n-1}) mod M
  • 固定层固定 N-gram 时,哈希值永远一样。
  • 不同层有不同 m_k,不同 head 有不同质数 M,可以确保 N-gram 在不同层不同 head 具有不同 hash 值。
  • 位置交换异或结果不同(具有位置敏感性)。
  • 通过 Multi-head 缓解哈希冲突。N-gram 对应的 Embedding 由不同 head 下 Embedding 拼接而成,即便某一个 head 冲突了是脏的,不影响其它部分极大率仍是准确的。

计算 Value:

  • 动态门控:检索到的 Embedding 是静态的,缺乏语境适应性。考虑加入动态上下文,增强表达能力并进一步缓解歧义。
  • 受注意力机制启发,如果检索到的记忆 e_t 与上下文 h_t 矛盾,门控输出值应该接近 0,从而有效抑制噪声:
    k_t = W_K e_t,  v_t = W_V e_t
    α_t = σ( RMSNorm(h_t)^T RMSNorm(k_t) / √d )
    ṽ_t = α_t · v_t
    

Short, Depthwise Causal Convolution (ShortConv):

  • 目的是扩充感受野,增强非线性。每个 Token 融合了前面多个 Token 信息,且计算量小。
  • 最终输出:Y = SiLU(Conv1D(RMSNorm(ṽ))) + ṽ
  • Conv1D 关键参数:in/out channels=向量维度,groups=向量维度(每个通道只用自己的卷积核计算),bias=False,kernel_size=4,dilation=3(最大 N-gram),padding 实现 Causal 特性。

工程要点:

  • 分片存储:每个 GPU 都存储完整的 N-gram Embedding Table 所需空间巨大,采用分片策略将 Embedding Table 存在不同 GPU,需要额外引入 all2all 操作。
  • 通信与计算的 overlap:多头哈希查表操作只与 Input IDs 相关,所以查找传输操作可以与 Engram 之前层的计算进行 overlap,这样 N-gram Embedding 可以 Offload 到 CPU 内存。
  • U 型缩放定律:最优分配是 MoE 参数占比 75%-80%,Engram Embedding 参数占比 20%-25%。
  • Engram 放置位置:越往后层放置效果越差。如果只有一个 Engram,在 Layer2 效果最好;如果用一个 Engram 的参数构造成两个 Engram,放置在 Layer2 和 Layer6,效果可以进一步提升。

2.6 Norm & Residual

PostNorm vs PreNorm:

  • 残差解决梯度消失问题,能让各层学习充分。
  • 标准化使各层输出稳定,训练更好把控更不容易失败。
  • pre-norm 更适合深层大模型,而 post-norm 适合 Bert 发挥 fine-tune 的优势。
  • pre-norm 能标准化又可以有效缓解梯度消失(让残差发挥更大作用)。
  • post-norm 结构越靠近输入层梯度影响越弱,刚好让前面层变化小,着重精调靠近输出层的参数。
  • RMSNorm 计算更快,参数也少了一半,效果不减。

Block 内完整计算:

x = x + self.attn(self.attn_norm(x), start_pos, freqs_cis, mask)
x = x + self.ffn(self.ffn_norm(x))

mHC(manifold-constrained Hyper-Connections):

  • 考虑到 pre-norm 和 post-norm 各有优势,希望通过改进模型结构,让模型自己学习最优的信息流动方式,既避免梯度消失,又不表示崩溃。
  • HC 将残差流的信息容量与输入维度解耦,而输入维度与计算复杂度紧密关联。因此有了 HC,信息容量可以很宽,但不会带来计算成本的显著提升。
  • Hyper-Connections 会使得模型训练不稳定,而 mHC 对信息的增强幅度进行了限制。
  • 原 HC 矩阵变为双随机矩阵,具有非负、行与列之和都为 1 的特点。
  • Sinkhorn-Knopp:一种迭代算法,通过交替归一化行和列,把一个非负矩阵转换成双随机矩阵。
  • 迭代过程是不该进入计算图的(u 和 v 无梯度)。
  • 工程优化:在前向传播结束后丢弃 mHC 内核产生的中间激活,在反向传播阶段通过重新执行 mHC 内核来即时重计算这些激活。

2.7 Output

  • 对经过了 N 层 Block 的结果先进行 Norm 再经过 Head 得到 logits。
  • 可以选择让输入层和输出层 Embedding 共享(即 Tied Embeddings),前提是 hidden_size == embedding_size。
    • 好处:减少参数量,并强制输入和输出空间对齐以避免独立优化导致分布偏移。
    • 缺点:初始训练可能不稳定,共享可能限制输出层的表达能力。
    • 在 Embedding 占比不大时,更倾向于独立输出层的设计。
  • Qwen3 引入了一个 logits_to_keep,只把选定的最后几个 hidden_states 转换成 logits(用于预测下一 Token),减少计算量并减少内存。
  • DeepSeek 默认取最后一个,Head 是 ColumnParallelLinear 定义的,代码中对应有 all_gather 处理。

温度与 Top_P

  • 温度是确定性和创造性的权衡:低温时输出变化较小,高温下生成的文本会更加多样化。
    • 预训练阶段一般不显式设置,默认使用 T=1;微调阶段调整 T 以适应任务;强化学习也可以适当调整加快训练。
    • 通常温度取值范围是 0.2-2.0,低温(例如 0.2)、中温(例如 1.0)、高温(例如 2.0)。
  • Top_P 根据累积概率限定候选集,再(根据采样范围的概率分布)从剩余候选中随机采样一个。
  • 温度是调整概率计算的超参,它影响生成概率分布;而采样是偏集中还是倾向多样则用超参 Top_P 来调整。

生成采样策略

Beam Search:

  • 若束宽为 k,则每一步保留概率最高的 k 条路径,即 k 个候选序列。无法保障全局最优,但能避免复杂度过高,特别在 Label 集合较大场景(如 Label 集合为词表)。
对比项 Beam Search 维特比算法
最优解情况 局部最优 全局最优
路径选择 每一步仅保留概率最高的前 k 条路径,无法回溯 每一步保留所有状态的最优路径,回溯拼接全局最优序列
计算效率 束宽较小时高效 状态数量较小时高效

Speculative Decoding:

  • 用 Draft(小)模型预测候选序列,用 Target(大)模型并行验证,实践效果上输出分布能与 Target 模型解码一致。技术本质是用算力换时间。
  • 最好让 Draft 模型与 Target 模型用同样数据和方法训练(Draft 模型可以是由 Target 模型蒸馏得到的);并且要求 Draft 模型能力足够,若草稿质量差接受率不高,加速效果下降甚至反向。

工作流程:

  1. 草稿生成:Draft 模型生成 γ 个 Token,并保留各 Token 概率分布 q(x)。
  2. 并行验证:依次多添加一个草稿 Token 到每个输入,共有 γ+1 组输入并行计算,得到各自下个 Token 的分布。
  3. 判断采样:对于某个 Token,若目标模型的概率 p(t) > q(t) 则接受,接受后当前及以前的 Token 都有效;否则从当前拒绝并终止,后面 Token 即便满足 p(t)>q(t) 也没用了,被拒绝后从调整后的分布采样新 Token 以确保输出分布与 Target 模型一致。新采样分布:p'(x) = norm(max(0, p(x) - q(x)))。此外还可以限定一个阈值(如 Target 模型预测 Token 概率不得低于 0.6),进一步确保该加速方案的可行性。
  4. 结果生成:判定接受的结果全部保留,若 γ 个 Token 全部接受,还会在 Target 模型下额外生成一个 Token;反之判定拒绝,则从错误点重启生成。

三、部署

3.1 GPU

GPU 性能指标对比总结:H20 显存和带宽是优势,L20 计算性价比高。

GPU 计算有关的硬件和程序:

Hardware:

  • Streaming Processor(SP):最基本的处理单元,也叫做 CUDA core。
  • Streaming MultiProcessor(SM):一个 SM 由多个 CUDA core 组成,每个 SM 在不同 GPU 架构上有不同数量的 CUDA core。

Software:

  • thread:一个 CUDA 并行程序由很多 thread 来执行,是最基本的执行单元。
  • warp:一个 warp 通常包含 32 个 thread。每个 warp 中的 thread 可以同时执行相同的指令,从而实现 SIMT 并行,是 SM 中最小的调度单元。
  • thread block:一个 thread block 可以包含多个 warp,同一个 block 中的 thread 可以同步,也可以通过 shared memory 进行通信。
  • grid:由多个 thread block 组成的二维或三维数组。

GPU 的存储介质:

  • SRAM 带宽最大访问最快,跟计算单元强绑定,不用作存储。
  • HBM 就是通常说的显卡显存,以 A100 为例,卡内带宽可达到 2T/s。数据传输可分为卡内、单机卡间、跨机,卡内的带宽是单机卡间的带宽的 3 倍,是跨机带宽的 20 倍。所以存储数据应该优先先放到卡内,其次单机内,最后可能才考虑跨机存储。
  • 显存不足时,可能引发:模型加载失败、OOM、性能下降。

GPU 集群:

  • 集群包含若干节点,每个节点通常有 8 块 GPU。节点内 GPU 可通过 NVLink 链接,节点间则采用 InfiniBand(IB)技术进行高效通信。NVLink 提供 160GB/s 的带宽,约为 IB(50GB/s)的 3.2 倍。

支持的数值精度:

精度 (dtype) 符号位 指数位 偏移量 最大指数 最小指数 尾数位 最大值
FP32 1 8 127 2^127 2^-126 23 近似 3.39×10^38
FP16 1 5 15 2^15 2^-14 10 65504
BF16 1 8 127 2^127 2^-126 7 近似 3.38953×10^38
FP8(E4M3) 1 4 7 2^8 2^-7 3 448
FP8(E5M2) 1 5 15 2^16 2^-15 2 —
  • BF16 具有和 FP32 相同的 range,但精度降低。
    • BF16/FP32 进行混合精度训练,可以减少溢出几率。
    • 对于大型 Transformer,BF16 损失的精度被证明不怎么影响收敛。
  • FP8 能让存储减半,并能加快计算。
    • 与 BF16 基准相比,采用 FP8 相对损失误差始终保持在 0.25% 以下,这完全在训练随机性的可接受范围内。
    • DeepSeek 主要采用 E4M3 格式以提高精度。

3.2 核心性能指标

推理耗时:

  • 包括首 Token 响应时间(Prefill 阶段),生成 Token 总耗时(Decode 阶段)。
  • Prefill 阶段耗时远小于 Decode 阶段耗时。
  • GPU 矩阵计算过程主要包括加载显存数据与 Cores 运算。通常都是内存带宽受限,数据移动速度才是卡点。
  • 通常关注的指标:
    • TTFT:首 Token 响应时间
    • TPOT:每个输出 Token 的时间(或者看指标 TPS:每秒生成 Token 数量)

吞吐量:

  • 推理 Server 每秒可以为所有请求生成的输出 Token 数量。
  • 对于服务提供方,更大的吞吐量意味着硬件的利用率更高,降本增效。
  • 对于用户批处理任务,关心的是整体完成效率。

资源利用率:

  • 衡量资源在训练或推理任务中有效使用程度,可利用 Torch Profiler 进行分析。
  • 显存利用率、FLOPS 利用率、吞吐量对比。

3.3 优化加速

Paged Attention

  • 在显存中,主要存储对象有模型参数、KV Cache 以及中间计算结果(生命周期短,通常在计算完一层后即被释放,占用较少)。当序列特别长时,KV Cache 占比逐渐增大,将耗费大量的显存(可能达到几个 GB 的规模),很容易达到存储瓶颈。
  • 预分配策略是在请求开始时就按最大长度为每个请求分配一整块连续存储空间。这种方式带来显著的存储浪费:已预留但尚未使用的空间、内部碎片、外部碎片。
  • Paged Attention 借鉴操作系统中广泛应用的虚拟内存分页机制,vLLM 在 Decode 阶段使用 Paged Attention 配合 block-level 的内存管理机制,实现了高效、动态的 KV Cache 管理。
    • 每个序列的 KV Cache 被切分为固定大小的 block(常取 16 或 64 个 Token),每个 block 存储若干个 Token 的 Key 和 Value 向量。
    • KV Cache 可以存放在非连续的物理内存中,通过逻辑 block 与物理 block 的映射实现非连续存储,由 block table 来维护映射关系。
    • Paged Attention 支持按需分配和回收 block,并允许多个序列共享 block。

Flash Attention

  • Self-Attention 的时间复杂度和内存复杂度都是序列长度的二次方,所以当序列过长时,算法速度会变慢,还需要消耗很高的内存。
  • Flash Attention 的动机:在计算结果相同,或是误差可忽略的前提下,可采取下面优化方式:
    • 降低通信耗时,主要是 HBM 和 SRAM 之间的数据移动。减少访问次数,也避免访问大尺寸的注意力权重矩阵。
    • 优化 software 的 thread block 与 warp。
    • 缩短计算耗时,比如减少 non-matmul FLOPs 的数量。
    • 高度并行化,这里侧重的是序列分块的并行,避免存储完整的中间状态注意力矩阵。
    • 时间换空间的 Trade-off,比如 gradient checkpointing。

常见概念:

  • tiling:先对 qkv 分块,然后逐步累加进行 Softmax 计算和 output 计算。
  • gradient checkpointing:不保存所有中间激活值,而是只保存部分关键层的激活值,并在需要时重新计算这些中间值的一种技术。
  • kernel fusion:将需要通过多个 CUDA kernel 来分步完成的操作融合到一个或者少数几个 CUDA kernel,从而减少数据在 HBM 和 SRAM 之间换入换出的次数,进而节省运算时间。

核心思想:

  • 注意力整个计算在一个 kernel 中完成,只进行一次 HBM 和 SRAM 之间的通信。
  • 在一个 attention 计算块内,将工作分配在同一个 thread block 的不同 warp 上,减少不必要的共享内存读写。
  • 减少 Softmax 计算所带来的频繁 rescale。虽然 non-matmul FLOPs 仅占总 FLOPs 的一小部分,但它们的执行时间较长,减少 non-matmul FLOPs 并尽可能多地执行 matmul FLOPs。

tiling 算法:

  • Softmax 累加计算,关键是借助 e^delta 不断调整累加结果(类比补差价)。
  • Flash Attention 将输入分为多个块,每个块包含多个元素,而不是上面算法每次只更新一个元素。在忽略了块大小后,空间复杂度为 O(n)。
  • Flash Attention 的计算复杂度仍为 O(n²d),但空间复杂度从 O(n²) 变为 O(n)。因为瓶颈是大尺寸注意力矩阵通信耗时而不是计算量,所以实际耗时从随序列长度二次方增长缩短为随序列长度线性增长。

Sequence Parallelism

  • 将输入序列分割成多个块,每个设备负责处理其中一个块,可处理序列长度与设备数量成正比。
    • 单卡无法处理超长序列,显存不足。
    • 即便单卡显存够用,推理时会因显存占用过大导致较高的耗时(被迫发生显存交换、大量的小核函数启动开销),此时序列并行有助于降低单次推理耗时。
  • 计算与通信重叠:在计算当前序列块的同时进行下一个序列块的通信。
  • LayerNorm、Dropout、激活函数等计算操作在每个块上独立计算。
  • Self-Attention 需要全局序列的注意力信息,对此主流技术有 Ring-Attention 和 Ulysses。
    • Ring-Attention:可以使用 all-reduce 思路(先 all-gather 拼接注意力状态再 reduce-scatter 计算 out),但 concat 注意力状态的操作会增加显存使用。更推荐使用迭代思路,与 Flash Attention 中分块计算注意力的原理相同。
    • Ulysses:在计算 Attention 前,通过 all2all 通信将序列维度的划分转化到注意力头上,这样每个 GPU 都有完整的序列长度,但只负责部分注意力头的计算;Attention 计算完成后,再通过 all2all 通信,将注意力头维度的划分转化回序列维度,这样每个 GPU 都有完整的注意力头,但只有部分序列。
  • 序列并行和 Flash Attention 可以协同工作:把序列分割成多个块到不同设备,在每个设备内部用 Flash Attention。

Tensor Parallelism

  • 目的:张量被分配到不同的 GPU 上面,加速计算,提升 GPU 利用率。
  • 切法:纵切与横切。
W 切分方式 参数示例 倒推 X 切法 结果示例
纵向 [W1,W2] X XW=[XW1,XW2]
横向 [W1, W2] [X1,X2] XW=X1W1+X2W2
  • 巧妙地利用先纵切再横切完成通用 MLP:
    • 对于大多激活函数 F,F(X1W1+X2W2) != F(X1W1)+F(X2W2),但 F([XW1, XW2]) == [F(X1W1), F(X2W2)] 则恒成立。
    • 四种操作两两对应,all-gather(concat) 对应 split,all-reduce 对应 identity。
    • forward:先 identity(保持 X 不变),再 all-reduce 得到 Y。
    • backward:先得到对 Yi 的偏导(相当于 identity),再 all-reduce 得到对 X 的偏导。
  • 张量并行应用:MLP 层和 Self-Attention 带有 multi-heads 的 qkv。
    • MLP 的 up 采用 ColumnParallelLinear,down 采用 RowParallelLinear。
    • Self-Attention 用 ColumnParallelLinear 实现 qkv 的映射矩阵,用 RowParallelLinear 实现 v 到 out 的映射矩阵。
  • DeepSeek 中使用 4 路张量并行(TP4),较小的 TP 规模有效控制了通信开销。

专家并行

  • MoE 模型参数量过大,单个设备可能无法存储或高效计算。专家并行是通过将不同的专家分配到不同的硬件设备上,可以实现并行计算,加速推理过程。
  • all-to-all 通信:
    • Dispatch:(1) IB 发送 (2) IB 到 NVLink 的转发 (3) NVLink 接收,由相应的 warp 处理,分配给每个通信任务的 warp 数量会根据所有 SM 的实际工作负载动态调整。
    • Combine:(1) NVLink 发送 (2) NVLink 到 IB 的转发和累积 (3) IB 接收和累积也由动态调整的 warp 处理。
  • 跨节点专家并行机制也引入了显著的通信开销。核心技术挑战在于如何高效地进行专家路由,更高效地将输入数据分配给不同的专家:
    • 限制每个 Token 最多分发到 4 个节点,从而减少 IB 流量。
    • 对于每个 Token,当确定其路由决策后,首先通过 IB 传输到目标节点上具有相同节点内索引的 GPU。一旦到达目标节点,系统确保其通过 NVLink 即时转发到承载目标专家的特定 GPU,避免被后续到达的 Token 阻塞。
    • 传到节点后立刻通过 NVLink"分销"出去,因为 NVLink 带宽是 IB 的 3 倍以上,所以在不产生 NVLink 额外开销的情况下每个节点上平均高效选择 3 个专家,那么理论上保持通信成本不变,路由专家可以从 8 个拓展到 12 个。
    • 系统需要确保每个 GPU 处理相近数量的 Token,对高负载专家进行复制和冗余部署。

DeepSeek 的 MoE 部署,预填充和推理的差异:

项目 预填充 解码
并行数量 32路(EP32) 320路(EP320)
每个 GPU 上专家数量 9个(8from256+1from32额外的冗余) 1个(from256 或者 from64额外的冗余或共享)
执行优化 系统同时处理两个计算负载相近的微批次,将一个批次的注意力和 MoE 计算与另一个批次的数据分发和聚合重叠 在解码阶段注意力机制占用更多时间,因此系统将一个批次的注意力计算与另一个批次的分发、MoE 处理和数据聚合进行重叠

PD 分离

  • Prefill 阶段的核心瓶颈在于(超长序列)自注意力计算,需要计算能力强。
  • Decode 阶段核心瓶颈是访问压力,需要带宽高。
阶段 计算量(FLOPs) 显存访问量 并行度
Prefill O(N²d) O(N²d)->O(Nd) 高
Decode O(Nd) O(N²d)->O(Nd) 低
  • PD 分离部署的核心在于将推理过程解耦为两个在资源需求和执行特点上显著不同的阶段,并针对性地进行优化:
    • PD 分离将推理过程视为一个两阶段的流水线。推理请求首先进入 Prefill 阶段,然后将 Prefill 阶段的输出作为 Decode 阶段的输入。
    • Prefill 节点通常部署在具有强大计算能力的硬件上,而 Decode 节点通常部署在具有较大显存和带宽的硬件上。
    • DeepSeek 填充阶段都最小部署单元配置为 4 个节点 32 个 GPU。
    • DeepSeek 解码阶段的最小部署单元由 40 个节点 320 个 GPU 构成。
  • 在分离部署中关键是点是调度和通信。需要一个系统来协调和调度 Prefill 和 Decode 阶段的任务,使得在 Prefill 完成后能找到可用的 Decode 节点;需要管理 KV Cache,Prefill 节点和 Decode 节点之间需要高效的通信机制来传输 KV Cache 和其他控制信息。
    • 长序列 KV Cache 传输耗时仍然显著,可以考虑对 Cache 进行 FP8 等量化。
    • 通信上升级成 RDMA 技术,可绕过 CPU 和操作系统在 GPU 之间传输。
    • 在调度上,根据 Cache 匹配度、排队时间、传输成本选择 Prefill 节点;根据 Decode 节点显存余量等因素分配生成任务,高优先级还可以抢占低优先级 Decode 任务资源。

连续批处理

  • 动态批处理:将多个请求合并为一个批次,一次性提交给模型处理,并在批次中所有序列完成后返回响应,批次可以在推理开始前动态调整。当批次中某请求生成长度短提前完成了或者存在复杂请求都会出现资源闲置,一般只适用于输出序列是固定长度的任务,不适合实时性要求高的场景。
  • 连续批处理:一个序列一旦生成了结束标记,就允许在它的位置插入一个新的序列,不必再等待所有序列完成。新请求可实时插入,已完成新请求的空闲槽位立即被新请求填充,这样实现了更高的 GPU 利用率。
    • 动态加入:新请求可以在任何时间点加入批处理。
    • 并行处理:不同长度和进度的序列可以同时处理。
    • 动态退出:完成的序列立即释放资源。
    • 资源调度:根据当前负载动态调整批次大小。
差异汇总 连续批处理 动态批处理
批次调整时机 每个 Token 生成后(迭代级) 推理开始前
资源利用率 高(GPU 持续满载) 中等(存在等待)
延迟控制 P50/P99 延迟均衡 长尾延迟显著
适用场景 高并发、实时场景 输出长度一致的任务

四、训练

4.1 多重并行

Data Parallelism(ZeRO)

  • PS 架构有 master 节点(有主次),N 张卡存 N 份模型参数,显然在存储上存在大量冗余。

ZeRO:

  • 像 AdamW 这样的混合精度训练是头号"显存杀手"。

假设模型参数量为 φ,主要部分的显存占用量:

Model States 数值精度 存储量(字节) 考虑范围内占比
模型参数 FP16 2φ 12.5%
模型梯度 FP16 2φ 12.5%
Optimizer parameter FP32 4φ 25%
momentum FP32 4φ 25%
variance FP32 4φ 25%
  • Optimizer States 占了模型状态的 75%,所以它是 ZeRO 重点优化对象。
  • ZeRO-2 使用的方法是分片,即每张卡只存 1/P 的优化器状态和梯度,这样系统内也只维护一份。耗时 (P-1) * V / (P * 带宽),当 P 很大时近似为 V / 带宽,所以设备足够多时几乎不增加传输耗时。
    • 每个 GPU 使用自己的数据分片独立进行前向计算,再反向计算得到自己数据分片所对应的完整梯度。
    • 通过 reduce-scatter 计算并保留每个 GPU 对应的那个块的梯度平均值,显著降低了各 GPU 峰值显存占用。
    • 每个 GPU 只利用自己对应分片的梯度,来更新那个分片下的优化器状态和参数。
    • 通过 all-gather 让所有 GPU 得到完整的模型参数。
  • 额外将模型参数分片的 ZeRO-3 则会额外增加一些耗时。在前向传播和反向传播过程中,按层收集计算所需的完整参数;待计算完成后,为了节省显存,会立即丢弃非自身对应的参数分片。

ZeRO-Offload:

  • 为了进一步减少内存消耗,在不让 CPU 参与复杂度高的计算以及不让通信太拖后腿的前提下,分配一些操作给 CPU 和内存。
  • FWD、BWD 是计算量大的,放在 GPU 上,而反向计算出的梯度、以及一些状态可卸载下放到 CPU 和内存。
  • Param update 和 float2half 不但计算量小而且还需要和 Optimizer 状态打交道,所以 float2half 在 CPU 上,Optimizer 状态自然也放在内存中。
  • 具体实现上,先通过 reduce-scatter 操作平均梯度后卸载到 CPU 和内存,优化器更新在 CPU 上并行执行,再通过 all-gather 把更新后的参数同步到 GPU。
  • 通信量一般是梯度量的两倍(reduce-scatter 和 all-gather 两个操作)。
  • 为了提高效率,可以将计算和通信重叠。
  • 适用于 GPU 资源受限的环境。显存利用率通常比 ZeRO-2 更低,当 GPU 增多后吞吐量也可能不如 ZeRO-2。
  • ZeRO-Infinity:将模型状态动态卸载到 CPU 内存甚至 NVMe 固态硬盘中,减少 CPU 中介负担。适合千卡级别超大规模集群来训练万亿参数级的模型。

Pipeline Parallelism

  • 更多时候并非单 GPU 真的装不下,而是多 GPU 并行更具性价比。
    • 在处理某个 Block 或 Layer 时,其它部分的参数可看作是无用的,所以显存中始终存了大量"短期"用不上的参数。
    • 并行后每部分可以用其特定优化方式提升 GPU 利用率(使得 Cores 使用率更高等)。
    • 原则上能突破参数量的限制,训练超大模型(但似乎并不是当下趋势了),给足想象空间抬上限。
  • 管线并行的优化目标就是减少"管线气泡"。
    • GPU 在等待时空闲,造成效率低下,延长了训练时间。
    • 同步数据的耗时:DISPATCH、COMBINE、PP 通信。
    • 气泡与流水线并行度成正比,与 micro-batch 数量成反比。

经典方案:

  • GPipe:将一个 batch 的数据拆分为 micro-batch 实现,并且每一个 batch 完成后会等待全局同步梯度;同时,GPipe 用到了前文提到的 gradient checkpointing 技术,用时间换来了显存的降低。
  • 1F1B:稳定状态下每台设备严格交替地进行前向计算和后向计算,减少 activation 的缓存数量,降低显存占用。
  • PipeDream:训练时,允许机器在反向传播第一个批次数据的梯度前执行第二个甚至更多后续批次的数据计算。这会造成梯度收敛不稳定,但我们可以通过限制在反向传播前最多执行多少批次来控制梯度的不确定性。
  • 因为设备执行完前向计算就执行后向计算,所以能尽快消化 activation,可能要保存不同版本的权重来保证训练有效性。
  • 稳定后,可以基本实现通信和计算的重叠。

DeepSeek DualPipe:

  • 显著减少了流水线空闲现象,核心在于实现了前向和后向计算块内的计算通信重叠。采用创新的双向流水线调度策略,实现了从流水线两端同时输入 micro-batch,使得大部分通信过程能够与计算过程完全重叠。
  • 每个设备存储两份参数(Device0 存储第一层的参数也存储最后一层的参数,就像既是始发站又是终点站)。所以存储量翻倍,通过显存换时间。
  • 计算:注意力机制(ATTN_F、ATTN_B、ATTN_W)、MLP 处理(MLP_F、MLP_B、MLP_W)。
  • EP 通信:全节点数据分发(DISPATCH_F、DISPATCH_B)、全节点数据整合(COMBINE_F、COMBINE_B)。
  • 通过优化排列这些功能模块,并精确调控用于通信和计算的 GPU 流处理器资源分配比例,系统能够在运行过程中有效隐藏全节点通信和 PP 通信开销,实现通信和计算的重叠。
  • DualPipe 适合大规模专家并行(Prefill EP32,Decode EP320),存储翻倍后不影响整体运作,否则收益不大但工程复杂度会增加很多。此外 DualPipe 通信和计算的重叠依赖于通信使用 SM,代价高,牺牲了计算 SM。
  • DualPipeV:对半裁剪后改为单向流水线,进行 V 型调度。
    • 某一个设备同时处理前向计算和后向计算,保证处理效率。
    • 进一步减少气泡。
    • 在同样的 GPU 资源下,能支持训练参数量翻倍的模型。

3D Parallelism

  • 把管线并行、张量并行和数据并行结合到了一起,几乎可以用于训练目前所有规模的模型。
  • 总 GPU 数 = TP_Size * PP_Size * DP_Size
    • 节点内优先用 TP,依靠 NVLink 进行高频低数据量通信。
    • PP 跨节点,低频高数据量通信。
    • DP 扩展,把 TP 和 PP 的搭建方案复制成多份。
  • 进一步,把序列并行 SP 也纳入,就升级成了 4D 并行;再进一步把专家并行也考虑进来,又升级成了 5D 并行。

4.2 FP8 混合精度训练

量化和乘法精度优化

细粒度量化技术:

  • FP8 因指数位和精度位的个数都较少容易数值溢出和下溢。若计算结果太接近于零,以至于计算机无法用当前的浮点数格式精确地表示它,通常会被近似为零。
  • 传统方法是将输入张量的最大绝对值映射到 FP8 格式的最大可表示值,将输入分布对齐到可表示范围内。然而这种方法使得低精度训练对激活值中的极端值特别敏感,可能导致量化精度显著下降。
  • 为解决传统方法的缺陷,采用了精细化配置缩放因子的逻辑。具体地,激活值采用 1×128 条状分组并缩放,权重采用 128×128 块状分组并缩放。
  • 在线量化是系统对每个 1×128 激活平铺或 128×128 权重块实时计算最大绝对值,据此确定缩放因子并完成 FP8 格式的量化;而离线量化则是基于历史记录的量化。
  • 先缩放,后面的累积计算还会缩放回来,在过程中缩放只为了避免精度损失。

kernel 源码:

@triton.jit
def act_quant_kernel(x_ptr, y_ptr, s_ptr, BLOCK_SIZE: tl.constexpr):
    pid = tl.program_id(axis=0)
    offs = pid * BLOCK_SIZE + tl.arange(0, BLOCK_SIZE)
    x = tl.load(x_ptr + offs).to(tl.float32)
    s = tl.max(tl.abs(x)) / 448.
    y = x / s  # 先放大,在累积计算的时候再缩小
    y = y.to(y_ptr.dtype.element_ty)
    tl.store(y_ptr + offs, y)
    tl.store(s_ptr + pid, s)

linear 中使用:

def linear(x: torch.Tensor, weight: torch.Tensor, bias: Optional[torch.Tensor] = None) -> torch.Tensor:
    if weight.element_size() > 1:  # 超过1个字节
        return F.linear(x, weight, bias)
    elif gemm_impl == "bf16":
        weight = weight_dequant(weight, weight.scale)
        return F.linear(x, weight, bias)
    else:
        x, scale = act_quant(x, block_size)
        y = fp8_gemm(x, scale, weight, weight.scale)
        if bias is not None:
            y += bias
        return y

累积精度优化:

  • 低精度 GEMM 运算常见的下溢问题主要通过高精度累积来解决,通常采用 FP32 精度。具体步骤如下:
    1. Tensor Core 以 FP8 精度高效地执行大量的矩阵乘法和累加(MMA)操作,用低精度累加器存储中间结果。
    2. Tensor Core 累加了 128 个 FP8 结果后(即一个组计算完成后),就会将这些结果转换(缩放)到 FP32 精度。
    3. 在 CUDA Cores 的 FP32 寄存器中进行累加。

混合精度框架

  • 为提高模型训练速度,大部分核心计算操作(尤其是 GEMM 运算),均采用 FP8 精度实现,再转成 BF16 或 FP32 格式的结果。这种设计策略理论上将计算速度提升至原有 BF16 方法的两倍,同时显著降低了内存使用量。
  • 在这一框架中,大部分计算密集型操作采用 FP8 执行,而关键操作则保持原有数据格式,以实现训练效率和数值稳定性的最优平衡。

DeepSeek 中各种精度的使用:

操作 FP8 BF16 FP32
向量层 YES(NEW)
输出层 YES(NEW)
标准化运算 YES(NEW)
注意力运算 YES(NEW)
MoE 门控 YES(NEW)
MoE 其它 YES(NEW)
其它主要的前向传播 YES(NEW)
AdamW Momentum YES(NEW)
AdamW Variance YES(NEW)
AdamW Gradient YES(KEEP)
AdamW Weight YES(KEEP)
其它主要的反向传播 YES(NEW)
GEMM 组块中间结果计算 YES(NEW)
GEMM 达到 NC 间隔后累加 YES(NEW)

4.3 优化算法

AdamW

  • 核心处理:

    • Momentum:减少震荡,加速。
    • Variance:RMSProp 自适应学习率,训练初期快速收敛。
    • 偏差修正:极大缓解训练初期冷启动问题。
  • AdamW 与 Adam 的差异:

    • AdamW 解耦权重衰减(正确实现原始意义上的权重衰减),不影响 Momentum 和 Variance。
    • Adam 实现的是 L2 正则,正则项融入梯度中,所以影响 Momentum 和 Variance。
    • 大模型都默认采用 AdamW。
    • DeepSeek 中超参设置:β1=0.9,β2=0.95,权重衰减 λ 为 0.1。

学习速率调整

  • 大模型训练一般会在前中后期采用不同的 LR 调整策略:

    • Warmup:在前期阶段线性增加学习速率,保证学习稳定,避免模型前面层没学好就陷入了局部最优解。
    • 余弦退火:在中期阶段以余弦曲线形式降低学习速率。
    • 固定速率:后期阶段保持一个非常小的学习速率直到训练完成。
  • DeepSeek 预训练:首先在前 2K 步内从 0 线性增加至 2.2×10⁻⁴,保持该学习率直至处理完 10T 训练 Token;随后在 4.3T 训练 Token 上按余弦衰减曲线降至 2.2×10⁻⁵;在最后 500B Token 的训练中,先用 2.2×10⁻⁵ 的固定学习率训练 333B Token,再以 7.3×10⁻⁶ 的学习率完成剩余 167B Token。另外长上下文拓展的两个阶段均采用与预训练末期相同的学习率 7.3×10⁻⁶。

BatchSize 与梯度积累

  • BatchSize 在预训练第一阶段采用动态调整策略。如 DeepSeek 先从 3072 逐步增加至 15360,此后保持不变;上下文拓展阶段 32k 对应 bs 为 1920,128k 对应 bs 为 480。
  • GradientAccumulationSteps 在小批次上逐渐累积梯度,以达到大批次参数更新的效果,能有效减少显存占用。设 GradientAccumulationSteps 大小为 k,等效大批次 Size = 小批次 Size × k。

4.4 稳定性与泛化性

  • 梯度裁剪:避免深层网络中反向传播可能导致梯度指数级增长。
    • 范数裁剪:设定一个最大范数阈值,如果当前所有参数梯度构成向量的(L2)范数大于阈值,就要进行缩放,使得缩放后范数变为阈值。
    • 按值裁剪:g_i = clip(g_i, -clipValue, clipValue)
  • 标签平滑:将正确标签的概率设为 1-epsilon。

4.5 数据与方法

拒绝采样

  • 设计一个评分机制,保留高分采样结果,低分的舍弃。
  • 随着大模型底座能力越发强大,采样可以做更多事,发挥更大的作用。适合使用采样的情况:后训练底座能力上升期间,当以稳定接近收敛时,可以利用拒绝采样生成新的带有 CoT 的 SFT 数据。
  • RFT(Rejection Sampling Fine-Tuning)蒸馏,相比 SFT,该方法在效率(机器生成策略)和泛化(多样)是优势。

RL

(见强化学习技术报告)

蒸馏

  • 对输出响应的蒸馏,SFT 方式。
  • logit 对齐,最小化 KL 散度。

LoRA

  • LoRA 是一种训练方法,与训练任务无关(SFT、DPO 等任务都可以用)。
  • 不改变底座原权重 W₀,微调的参数增量为 deltaW 并限定了形式:W = W₀ + deltaW = W₀ + (α/r) AB
  • LoRA 的精髓思想是可控的约束,增量权重只为了适应下游任务,主体知识水平不变,实验结果也支持了该设计。
    • LoRA 更适合于微调大模型,当下游任务所需基础在 LLM 预训练范围内时适用性比较好,主要起到的还是潜力激发放大的作用。
    • 当微调数据集太少不足以涵盖推理阶段真实文本分布时,LoRA 微调更能保证泛化性。
    • 训练时可以调整秩、缩放系数,可以选择哪些参数需要进行 LoRA 更新:
      • r:低秩矩阵的秩值,一般来说 r 越小训练效率越高,模型表现牺牲得越多;r 通常选 16/32/64。
      • α:低秩矩阵的缩放因子,通过调整 α 可以平衡低秩矩阵的影响,使模型能够在微调过程中保持足够的表达能力;16-32 是比较常见的选择。
      • target_modules:指定模型中需要插入低秩矩阵调整的模块,如:
        ['up_proj', 'down_proj', 'gate_proj', 'q_proj', 'k_proj', 'v_proj', 'o_proj']
        
  • 初始化方法:
    • 通常让一个矩阵使用随机高斯分布初始化,另一个用 0 初始化,这样 W = W₀,初始化不会引入扰动。
    • 注意矩阵 A 和 B 不能同时用 0 初始化,否则梯度为 0 无法更新参数。
  • LoRA 训练高效。可训练参数量可降至全量微调的 0.1%-1%,极大降低显存和计算需求。
  • LoRA 部署时,可以让基础模型常驻显存,动态加载不同 LoRA 适配器响应请求,大大提升显存复用率降低成本。另外增量权重可以合并到原始权重中,所以在推理时没有任何速度损失。
  • AdaLoRA:原则上不同层不同模块对应的增量参数收益大小有差异,LoRA 千篇一律造成资源浪费或性能不足。AdaLoRA 引入动态秩调整机制,采用 SVD 的形式参数化增量更新。这种参数化方式允许我们高效裁剪更新中不重要的奇异值(置零),以实现秩的动态调整。
    • 每隔 T 步计算奇异值重要性得分,保留前 k 个高重要性奇异值,其余置零(训练前期可以多保留,后期逐步减少至目标秩数量)。
    • 损失引入正交正则项,强制 P 与 Q 逼近 SVD 分解下正交性质,以提升稳定性:
      W = W₀ + PΔQ
      l_total = l_task + λ × (||P^T P - I||_F² + ||Q^T Q - I||_F²)
      
    • 实验表明把增量参数放到 FFN 比放到注意力层价值更大,放到深层比放到前面层价值更大。相同预算下,AdaLoRA 可以为深层和 FFN 层分配更高的秩。

MoE 专家负载均衡

  • 不平衡的专家负载将导致路由崩溃,并在专家并行场景中降低计算效率。解法包括辅助损失函数 l_bal 和无辅助损失负载均衡。

分批次级和序列级负载平衡辅助损失,方法类似,以序列级为例:

L_Bal = α Σ_{i=1}^{N_r} f_i P_i
f_i = (N_r / K_r) * (1/T) Σ_{t=1}^T 1(s_{i,t} ∈ TopK({s_{j,t}|1≤j≤N_r}, K_r))
s'_{i,t} = s_{i,t} / Σ_{j=1}^{N_r} s_{j,t}
P_i = (1/T) Σ_{t=1}^T s'_{i,t}

无辅助损失的负载均衡引入偏置项 bias 并进行动态调节。在训练过程中,系统会实时监控每个训练步骤中所有批次的专家负载分布。在每个步骤结束时,对于负载过高的专家,其偏置项会减少 γ;对于负载不足的专家,其偏置项会增加 γ,其中 γ 是控制偏置更新速率的超参数。

g'_{i,t} = s_{i,t} + b_i if s_{i,t}+b_i ∈ TopK({s_{j,t}+b_j|1≤j≤N_r}, K_r), else 0
  • 为了让 MoE 训练稳定,保证每个批次都具有足够规模,采用大规模专家并行和数据并行的训练框架。
  • 对于推理阶段可能因领域迁移导致负载失衡,通过部署冗余专家来解决。
  • Qwen3 采用了辅助损失函数,而 DeepSeek 采用无辅助损失的负载均衡并补充了序列级负载平衡损失。

MTP(Multi-Token Prediction)

  • 多 Token 预测,提升 LLM 训练效率和推理速度。
  • 不同模块的 Embedding 层之间和输出头之间共享参数。
    • 头尾参数是共享的,又有模型最上层 Hidden States 传入,已经具有足够的决定性和连贯性,MTP 模块无需很大的 Block 就能拟合好。
    • 参数共享也减少了显存占用。
  • 训练:
    l_total = l_LM + l_MTP = l_LM + (λ/D) Σ l_MTPk
    
    • 每个 Token 会被主模型预测,在 MTP_k 考虑范围内还会被 MTP_k 预测,提高数据利用率,增加训练信号的密度,模型收敛更快。
    • 原则上,它使模型能够提前规划表征,有利于更准确地预测后续 Token。
  • 预测多 Token,结合 Speculative Decoding 可显著加速推理。DeepSeek V3 中 k 为 4 时接受率达 85%-90%,推理速度提升 1.8 倍。

4.6 训练统筹规划

考虑下面关键问题:

  • 训练一个参数量为 N 的模型,想知道至少需要多大的数据。
  • 拥有的数据规模为 D,想知道能训练一个多大的模型。
  • 想知道在训练数据不变的情况下,模型从 3B 到 30B 效果能提升多少。
  • 有 k 张 A100/H100 显卡,应该用多少数据、训多大的模型效果最好。
  • 若计算量可以提升 10 倍,参数量和数据量各自提升多少最优。

参数量和计算量:

设数据量为 D、参数量为 N、计算量为 C,并且只考虑最基本的 Decode-only 模型。

  • D = bs,b 为 batch_size,s 为平均序列长度。
  • N 约为每个 Block 参数总和(Embedding 等非 Block 先忽略),每个 Block 主要包括 Attention 和 MLP。
    • Attention:主要是 qkvo 矩阵,总参数为 4d²。
    • MLP:主要是 up 和 down 两个矩阵,总参数为 2 × 4d² = 8d²。
    • 综上,对于 L 层模型,N ≈ 12Ld²。
  • C 包括前向传播和反向传播(反向传播计算量是前向传播的两倍),同样按每个 Block 下的 Attention 和 MLP 来统计:
    • Attention:先输入映射,再 Attention 计算,最后输出映射。
      • 输入映射 qkv 和输出映射 o 计算量均为 2bsd²(考虑加法和乘法,下同),所以总量为 4 × 2bsd² = 8bsd²。
      • q 与 k 之间的计算量为 2bs²d,score 与 v 之间的计算量也为 2bs²d,所以总量约为 4bs²d。
    • MLP:先 up 后 down 计算量相同,各为 2 × 4bsd²,所以总量约为 16bsd²。
    • 综上,对于 L 层模型,前向传播 C_f ≈ 24Lbsd² + 4Lbs²d,再考虑反向传播后 C ≈ 72Lbsd² + 12Lbs²d。
  • 最终可以得出 C 约为 6ND:C ≈ 6ND × (1 + s/(6d)),通常 s 远远小于 6d。

4.7 Scaling Law

  • 基本缩放律:当数据量 D、参数量 N、计算量 C 都不受限的前提下,模型性能与三者都呈幂律关系。这种统计定律都是有生效期和前提的。
  • LLM 发展初期比较符合缩放律。但随着现有数据几乎利用殆尽,以及对推理性能的追求,新技术方向脱离了缩放律的支配,可以与缩放律兼容并协同(没有否定缩放律),借助矩阵压缩、MoE、量化、蒸馏等手段兼顾效果、耗时和成本。

五、总结

  • 要有取舍。 抓主流、被证实好用的技术才值得仔细学并逐渐加深思考。
  • Self-Attention 要熟悉矩阵计算与其复杂度,理解 RoPE,并能结合代码看懂 Tensor Parallelism 与 Flash Attention 的实现,就能快速应对各种魔改。该模块长期研究目标是提升注意力的解释性。
  • FP8 能够加速计算和节省存储,当前方案都还相对保守,接下来应该是在策略和硬件配合下热点的研发项目。
  • 性能优化和硬件升级是相互适配,协同共进的。
  • 攻克这些技术关键点,只意味着有资格对最新技术进行更深入细化的探索!

参考链接(PDF 中引用)

  • Deepseek V3/R1 技术报告、Qwen3 技术报告
  • Qwen tokenizer 及 BPE、BBPE
  • LLaMA 中的旋转式位置编码
  • 再论大模型位置编码及其外推性
  • Qwen 和 Deepseek 为何都选 YaRN
  • FlashMLA 官方源码 / 深入分析 / 彻底理解 MLA
  • 基于 DSA(稀疏注意力)进行训练推理提效,大幅降低成本
  • DeepSeek Engram 原论文
  • 模型优化漫谈 / PostNorm/PreNorm 的差别
  • GPU 性能分析
  • FlashAttention2 详解
  • NCCL, PCIe, NVLink, Infiniband, RDMA 都是些啥?
  • FP32、FP16、BF16 精度一篇文章搞懂 / FP8 量化基础-英伟达
  • 大模型 LLM 推理加速最佳实践
  • SGLang 官方源码 / 解析 / vLLM 官方源码 / 框架源码解析 / SGLang 和 VLLM 对比
  • 从大模型性能优化到 Deepseek 部署 / 手把手推导 RingAll-reduce 的数学性质
  • vLLM 核心技术 Paged Attention 原理详解
  • 官方源码 / FlashAttention 原理详解 / 手撕 FlashAttention!原理解析及代码实现
  • 序列并行的典型方案与实现细节 / 大模型分布式训练并行技术(五)-序列并行
  • Megatron 论文和代码详细分析
  • DeepEP 深入分析
  • PD 分离与 EP 分离技术
  • 连续批处理(continuous batching)将 LLM 推理吞吐量提升 23 倍,同时减少延迟
  • 大模型分布式训练 / DeepSpeed 之 ZeRO 系列:将显存优化进行到底
  • DualPipe 详解(8 个 step 调用细节分析)/ [源码解析] 流水线并行 / DualPipe & EPLB 深入分析
  • 大模型退火
  • PyTorch 模型训练优化器 Adam 和 AdamW
  • 三种微调方式:Prompt-tuning、Prefix-tuning、LoRA / AdaLoRA 和它的基本原理 / LoRA 微调参数详解
  • 张俊林-S 型智能增长曲线:从 Deepseek R1 看 Scaling Law 的未来