了从 BERT 到 DeepSeek 的大模型架构演进，涵盖 Transformer 变体、RMSNorm、SwiGLU、RoPE 位置编码及 MLA、MoE 等核心技术。阐述了预训练阶段的 Scaling Law 与数据清洗，以及 SFT 指令微调与 RLHF 人类反馈强化学习（含 PPO 算法）的对齐原理。最后通过代码实战分析了推理陷阱与高频面试题，帮助读者深入理解大模型底层逻辑。
引言 随着 ChatGPT 和 DeepSeek 的爆火，自然语言处理（NLP）进入了'大炼模型'的时代。面对当今动辄千亿参数、采用 MoE 架构和强化学习（RLHF）的 SOTA 大模型，本文基于实战经验与核心理论，深度拆解架构演进、预训练全流程与 RLHF 原理。
在深度学习框架中，Transformer 家族走向了不同的分支：
对比了传统 GPT 与最新大模型（如 DeepSeek）在内部组件上的全方位升级，这是算法岗面试的重灾区：
传统模型使用 Add & LayerNorm，而新一代模型普遍改用 RMSNorm (Root Mean Square Layer Normalization)。
RoPE (Rotary Position Embedding) 是目前 Llama 和 DeepSeek 等顶尖模型标配的位置编码技术。
1. 为什么要换掉'绝对位置编码'？
2. RoPE 的核心直觉：时钟与旋转角度
第 2 个词旋转 2 度； 第 1 个词旋转 1 度；
旋转代表位置：我们在处理第 n 个词时，就把它的向量旋转 n*θ 的角度。
3. 数学上的'神来之笔'：相对位置的转化 模型在计算注意力时，会计算词 m 和词 n 的点积。在 RoPE 下，神奇的事情发生了：词 m 旋转了 mθ，词 n 旋转了 nθ。当它们相乘时，绝对的角度（位置）会抵消，剩下的结果只取决于 (m-n)*θ。
长对话推理中，最大的瓶颈是 KV Cache（键值缓存） 导致的显存爆炸。
Batch Size（单卡同时服务更多用户），是 DeepSeek 降低 API 成本的核心技术。
共享专家 (Shared Experts)：剥离出永远激活的专家处理标点、基础语法等'通用知识'，让其他专家专心钻研复杂知识，彻底避免了'专家坍塌'。
在进入微调之前，模型必须先经历漫长的预训练（Pre-training）阶段，这就好比让一个婴儿在图书馆里阅读千万本书籍。
OpenAI 在研发 GPT 系列时发现了一个残酷但有效的真理：Scaling Law。
大模型无法直接吃进原始文本，必须经过严格的预处理：
在整个预训练阶段，大模型只做一道题：猜下一个词（Next Token Prediction）。
经历完预训练的模型，虽然博学，但只是一个'无情的文档续写机'。为了让它变成像 ChatGPT 一样的智能助手，必须进行 SFT 和 RLHF。
如果模型给出了两个都符合语法逻辑的答案，如何判断哪个更礼貌、更安全？这就需要 RLHF 出场。
第一步：训练 Reward Model（奖励模型） 给模型同一个 Prompt，生成 A 和 B 两个回答。人类标注员进行排序（Selected vs Rejected）。用这些偏好数据训练一个 Reward Model 替人类打分。
第二步：PPO 算法 (近端策略优化) 核心推导
PPT 第 40 页给出了强化学习的核心公式：
这是最难懂的部分。如果 SFT 是'老师教学生'，那么 PPO (Proximal Policy Optimization) 就是'教练训狗'。
：这是奖励分。如果整句话说得好，R 就是正的高分；说得差，R 就是负分。
：梯度的方向。这代表'如果我想让这个词出现的概率变大，模型参数
应该往哪儿走'。
：代表模型在当前状态 s 下，生成词 a 的概率（取对数是为了计算方便）。
想象你在训练一只狗。
KL 散度约束：这就是那根'牵引绳'。它限制了模型更新的幅度。如果新模型
相比旧模型
改变太大（KL 散度过高），系统就会强行拉回来。这保证了模型在学习'礼貌'的同时，不会把预训练学到的'知识'给丢了。
Policy Gradient（策略梯度）：狗做对了给骨头（
），它下次就会多做；做错了拍脑袋（
），它下次就少做。
理论必须落地于代码。在深度学习实战中，加载模型进行推理时，有两个致命陷阱：
model = AutoModelForSequenceClassification.from_pretrained('./best_model')
model.eval() # 【关键操作 1】
with torch.no_grad(): # 【关键操作 2】
outputs = model(**inputs)
logits = outputs.logits
predictions = torch.argmax(logits, dim=-1)
model.eval()？ 如果不加这一行，Dropout 层会继续随机丢弃神经元，BatchNorm 会继续计算当前单一数据的均值方差，导致同样的输入每次预测出的概率都会微小跳动，结果极不稳定。torch.no_grad()？ 在推理阶段，我们不需要反向传播更新参数。告诉 PyTorch 停止构建计算图，可以瞬间节省 50% 以上的显存，并大幅提升推理速度。Q1：为什么 Transformer 推理时很吃显存？
答： 因为它是自回归生成的，需要保存历史上下文中所有 Token 的 Key 和 Value 矩阵（即 KV Cache），避免重复计算。随着文本长度增加，KV Cache 显存占用呈线性增长。DeepSeek 采用 MLA 机制，将 KV 矩阵压缩为 Latent Vector（浅向量），大幅缓解了这一问题。
Q2：简单解释一下 DeepSeek 的 MoE 是如何防止专家坍塌的？
答： 传统 MoE 在训练时，Router 可能会将所有 Token 倾向性地分配给少数几个'碰巧前期学得好'的专家。DeepSeekMoE 一方面采用了更**细粒度（Fine-Grained）**的切分扩大选择面，另一方面设置了'共享专家（Shared Experts）'专门处理标点、语法等高频共性知识，让细粒度专家被迫在特定专业领域进行竞争，从而有效防止了坍塌。
Q3：简述大模型 Pre-training 和 SFT 阶段的区别？
答： Pre-training 是利用海量无标注数据做 Next Token Prediction，目的是让模型掌握人类语言的规律和世界知识，此时模型是发散的；SFT 是利用高质量人工编写的 Prompt-Response 对进行微调，目的是规范模型的输出格式，让它从'续写机器'变成'听从指令的问答助手'。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online