SWEET-RL-Meta：多轮强化学习框架

SWEET-RL是什么？

SWEET-RL（基于专家轨迹扩展的可扩展强化学习）是Meta开发的多轮强化学习框架，用于训练大语言模型（LLM）执行协同推理任务。该框架利用训练阶段额外信息（如参考答案）优化"评判者"模型，通过提供分步奖励机制实现更优的信用分配与策略优化。

• 在ColBench基准测试中，相较前沿方法成功率/胜率提升6%，尤其在后端编程与前端设计任务表现突出
• 使Llama-3.1-8B等模型达到或超越顶级模型（如GPT-4o）水平

核心特性

1. 优化多轮交互：专为后端编程、前端设计等多步骤复杂任务设计
2. 高效信用分配：利用参考答案实施分步奖励，精准量化多轮工作流中的操作价值
3. 任务普适性：支持前端UI设计等多样化任务，展现广泛适应能力

技术原理

1. 训练阶段额外信息：评判者模型通过参考答案生成奖励信号，指导执行者模型策略更新
2. Bradley-Terry目标函数：直接训练优势函数（评估动作有效性）而非价值函数，更好适配预训练LLM
3. 非对称信息架构：评判者：访问额外训练数据执行者：依赖交互历史实现精准动作评估与策略优化
4. 参数化优势函数：将优势建模为动作平均对数概率，通过轨迹级Bradley-Terry目标训练强化与LLM预训练目标的协同性

项目资源

• GitHub仓库：https://github.com/facebookresearch/sweet_rl
• HuggingFace数据集：https://huggingface.co/datasets/facebook/collaborative_agent_bench
• arXiv论文：https://arxiv.org/pdf/2503.15478

应用场景

• 文本校对：修正文章拼写错误与敏感内容
• 社交媒体审核：确保合规性并维护品牌声誉
• 广告合规：审查广告文案规避法律风险
• 学术出版：提升研究论文与教材准确性
• 多媒体内容检测：筛查视频/音频/图像合法性