强化学习框架 VeRL 全面解析
当前的 RL 框架一览
字节系： VeRL CURE（RL for coding)
阿里系： ROLL 淘天爱橙团队
智谱： slime
huggingface： trl
VeRL 的特点
由于强化学习算法在 LLM 时代中，对与'灵活性'和'高效性'的双重需求，VeRL 应运而生。 其主要特点包括：【Single-controller、multi-controller 以及 Hybrid Engine】
引入 multi-Controller 的思想：实现高效数据并行、训练和生成：
针对 RL 当中各个 operator 之间效率的优化，VeRL 引入了 Hybrid Engine 其中包括：offloading&reloading；并行策略切换
引入 single-controller 的范式思想；将复杂的 RL workflow 简化为 20 几行代码；
VeRL 分布式框架—分布式新范式
分布式框架的实现思路主要有两种： **single-controller：**一个中心 controller 来控制所有的 worker 进行对应任务；【single controller 来掌控全局】 **multi-controller：**每一个 worker 独立控制自身，通过其他方式实现并行，例如数据并行，每个 worker 之间通过通信的方式汇总并行数据。【通过 worker 间通信来协调】
两种方案各有优略：
