用 10% GPU 跑通万亿参数 RL!马骁腾拆解万亿参数大模型的后训练实战

用 10% GPU 跑通万亿参数 RL!马骁腾拆解万亿参数大模型的后训练实战

整理 | 梦依丹

出品 | ZEEKLOG(ID:ZEEKLOGnews)

左手是提示词的工程化约束,右手是 Context Learning 的自我进化。

在 OpenAI 新发布的《Prompt guidance for GPT-5.4》中,反复提到了 Prompt Contracts(提示词合约)。要求开发者像编写代码一样,严谨地定义 Agent 的输入边界、输出格式与工具调用逻辑,进而换取 AI 行为的确定性。

但在现实操作中,谁又能日复一日地去维护那些冗长、脆弱的“提示词代码”?

真正的 Agent,不应只靠阅读 Context Engineering,更应该具备 Context Learning 的能力。

为此,在 4 月 17-18 日的 2026 奇点智能技术大会上,我们诚邀 Macaron AI 首席科学家、Mind Lab Director 马骁腾带来一场直击 Agent 进化本质的深度分享,让 Agent 从“听指令”进化到“涨经验”。

马骁腾是谁?

提到马骁腾,笔者脑海首先闪现的是强化学习、Agent、1500+……

作为清华大学自动化系的博士、博士后,马骁腾在产业界和学术界有着扎实的底蕴。他在强化学习相关领域发表了 30 余篇顶会论文,谷歌学术引用超过 1500 次。

现在,他是 Macaron AI 首席科学家,也是 Mind Lab 的掌舵人。

他带队研发了面向万亿参数模型的 LoRA-RL 训练底座—— MinT,成功实现了端到端的万亿参数推理强化学习。

以万亿参数模型(如 Kimi K2)为例,该系统所需的 GPU 数量仅为传统全参数 RL 的约 10%。这彻底改变了大模型后训练的经济学,使 RL 能够大规模落地到更多产品和团队中。(核心解读:https://macaron.im/mindlab/research/building-trillion-parameter-reasoning-rl-with-10-gpus)

从 Context Engineering 到 Context Learning:万亿参数大模型的后训练实战

在 2026 奇点智能技术大会上,马骁腾将带来 《迈向经验智能:从 Context Engineering 到 Context Learning》 的深度分享,直击当前 AI Agent 开发与落地的核心痛点。

痛点:Prompt 工程的“边际效应递减”

当前的 Agent 开发,陷入了一个“堆砌上下文”的怪圈。

为了让 Agent 应对动态环境(比如操作一个不断更新的 App 界面),工程师们不得不编写越来越长、越来越复杂的 Prompt。但这带来了两个无法回避的问题:

  • 扩展性受限: 人工编排永远赶不上环境的变化速度;
  • 经验无法复用: Agent 每次任务都是“从零开始”,上一次的成功或失败经验,无法沉淀为模型的能力。

解法:Context Learning(在交互中学习)

马骁腾提出的 Context Learning,核心在于“经验的内化”。

通过强化学习,让模型在真实的交互数据中自主试错、积累经验,并将这些经验刻进模型参数里。

实战干货:MinT 底座与 Macaron AI 案例

为了证明这条路走得通,马骁腾将在现场拆解 Mind Lab 的工程实践:

  • MinT 面向万亿参数模型的 LoRA-RL 训练底座:支撑高吞吐、低成本的强化学习快速迭代。并以 Macaron AI 模型训练为案例,展示如何利用 Context Learning 教会模型操作 Dynamic UI,将交互经验沉淀为可复用的模型能力与训练管线。
  • Macaron AI 模型案例:用 Context Learning 训练 Dynamic UI 交互能力

对于参会者而言,这场分享的直接价值在于:

  • 获得可落地的 RL Infra 建设思路:了解如何搭建一个像 MinT 这样,能够支撑大模型低成本、高吞吐强化学习迭代的基础设施;
  • 将 Context Learning 从理念变为工程现实的前提;
  • 理解可靠性与适应性的平衡术:明白在什么场景下仍需依赖 Context Engineering 确保可靠,又在什么场景下可以放手让模型通过 Context Learning 自主进化,从而设计出更健壮、更灵活的 Agent 系统。

2026 奇点智能技术大会

马骁腾的 Context Learning,只是 2026 奇点智能技术大会众多硬核议题中的一环。

面对“未来没有全栈,只有 Agent 工程师”的行业剧变,我们需要的不只是几场演讲,而是一份可被验证的、成体系的工程经验。

4 月 17-18 日,由 ZEEKLOG 与 奇点智能研究院联合主办的「2026 奇点智能技术大会」 将在上海环球港凯悦酒店隆重召开。

  • 顶尖阵容: 汇聚 50+ 位站在变革最前沿的技术领袖,来自 微软、BAT、京东、快手等一线大厂;
  • 硬核议题: 覆盖 Agent 系统、世界模型、AI 原生研发、AI Infra 等 12 大前沿专题。

这里没有空泛的预测,只有扎实的复盘与当下的解法与前沿的探索。

与此同时,2026 奇点智能技术大会同步开放多种合作形式:

  • 技术生态合作伙伴
  • 企业专场共建
  • 行业解决方案联合展示
  • ……

我们期待与更多长期主义者一起,为 AI 时代留下可被验证、可被复用的工程经验。

图片

扫码下方二维码

提前预约 2026 奇点智能技术大会全套 PPT 资料

图片

官方网站:www.ml-summit.org

购票热线:400-821-5876

购票咨询:[email protected]

企业合作:[email protected]

演讲申请:[email protected]

媒体联系:[email protected]

↓↓ 点击「阅读原文」,了解「2026  奇点智能技术大会」更多信息!

Read more

TRE: 鼓励在Trust Rigon 进行探索

TRE: 鼓励在Trust Rigon 进行探索

机构:  百度 代码: https://github.com/WhyChaos/TRE-Encouraging-Exploration-in-the-Trust-Region Abstract 熵正则化是强化学习(RL)中提升探索能力的标准技术。然而,在大语言模型(LLMs)中,它往往效果甚微,甚至会导致性能下降。我们认为,这种失败源于大语言模型所固有的累积尾部风险(cumulative tail risk),这种风险来自其庞大的词表规模以及较长的生成序列长度。 在这样的环境下,标准的全局熵最大化会将概率质量不加区分地分散到大量处于尾部的无效 token 上,而不是集中于合理候选项,从而破坏连贯的推理过程。 为了解决这一问题,我们提出了 Trust Region Entropy(TRE) 方法。该方法鼓励模型仅在其“信任区域(trust region)”内进行探索。我们在数学推理任务(MATH)、组合搜索任务(Countdown)以及偏好对齐任务(HH)上进行了大量实验,结果表明,

By Ne0inhk
Spring MVC请求处理流程源码分析与DispatcherServlet核心逻辑

Spring MVC请求处理流程源码分析与DispatcherServlet核心逻辑

目录 🎯 先说说我遇到过的真实问题 ✨ 摘要 1. 从Tomcat到DispatcherServlet:请求的"奇幻漂流" 1.1 请求是怎么到你Controller的? 1.2 DispatcherServlet的初始化:不是你想的那样简单 2. 请求处理九大步:DispatcherServlet的"工作流程" 2.1 doDispatch方法:Spring MVC的心脏 2.2 九步流程详解:每个步骤都有坑 🚨 步骤1:Multipart检查 🚨 步骤2:获取Handler 3. HandlerMapping:请求的"导航系统" 3.1 四种HandlerMapping的区别 3.2 RequestMappingHandlerMapping的匹配算法 3.3 路径匹配的性能优化

By Ne0inhk
数字身份的通行证:深入解析单点登录(SSO)的架构与艺术

数字身份的通行证:深入解析单点登录(SSO)的架构与艺术

文章目录 * 概述 * 一、什么是单点登录(SSO)? * 二、SSO 的核心价值:为何它如此重要? * 三、SSO 的基本工作原理:一次认证,处处通行 * 场景一:首次登录应用 A * 场景二:访问应用 B(无感登录) * 四、SSO 的通用语言:常见协议与标准 * 五、SSO 架构的两种主流形态 * 1. **中心化 SSO** * 2. **联邦身份** * 六、安全:SSO 的生命线 * 七、典型应用场景:SSO 在哪里发光? * 八、快速上手:从理论到实践 * 九、常见误区澄清 * 总结 概述 在数字世界日益碎片化的今天,我们每个人都在无数应用和服务之间穿梭,

By Ne0inhk
Rust异步编程实战:构建高性能网络应用

Rust异步编程实战:构建高性能网络应用

Rust异步编程实战:构建高性能网络应用 一、异步编程概述 1.1 同步vs异步的区别 💡在传统的同步编程中,代码按照顺序执行,每个操作必须等待前一个完成才能继续。例如,发送网络请求时,主线程会阻塞直到响应返回,这种方式简单直观,但在高并发场景下效率低下,因为大量线程会因阻塞而闲置。 异步编程则允许代码在等待操作完成时继续执行其他任务。当一个异步操作开始后,程序会立即返回并继续处理下一个任务,直到该操作完成后通过回调或事件通知继续执行后续代码。这种方式显著提高了CPU利用率和系统的并发处理能力。 1.2 Rust异步编程的演进 Rust的异步编程经历了几个重要阶段: * 早期阶段:依赖futures库提供基础的Future和Executor支持,但语法冗长且难以使用。 * 2018 Edition:引入了async/await语法糖的实验版本,简化了异步代码的编写。 * 2021 Edition:async/await正式稳定,成为Rust异步编程的标准范式。 * 生态成熟:Tokio、async-std等异步运行时库的发展,以及大量异步IO库的出现,使Rus

By Ne0inhk