现有的语言大模型（LLMs）在复杂指令下的理解和执行能力仍需提升。
腾讯优图（UTU）研究团队提出一种系统性方法——激励推理（Incentivizing Reasoning ) ，来提升 LLM 处理复杂指令的能力。
结果显示，该方法能够有效提升大多数 LLM 进行复杂指令深度处理时的表现，并在 1.5B 参数的 LLM 上实现了 11.74% 的性能提升，表现可媲美 8B 参数的 LLM。
背景：难处理复杂指令与约束条件
现有的大语言模型（LLMs）在遵循复杂指令时面临挑战，尤其当多重约束以并行、链式和分支结构组织时，LLMs 难以厘清真正的指令与约束条件。
一个直观的解决方案是通过"思维链"（CoT）来普遍提升 LLMs 的指令跟随能力。
然而研究团队发现，原始的 CoT 由于其表层的推理模式，即仅仅是对指令的简单释义与重复，却对性能产生了负面影响。朴素的 CoT 未能剖析约束的组成部分，也无法识别不同层级类型和维度关系。
为此，研究团队提出了一种系统性方法，通过激励推理能力来提升 LLM 处理复杂指令的能力：首先，基于现有分类法对复杂指令进行分解，提出了一种基于开源数据与已有约束结构的数据生产方法。其次，利用带有可验证、以规则为中心的奖励建模，通过强化学习（RL）培养模型在遵循指令时的推理能力。
方法：从数据生产方法到推理能力复杂规则与约束的复杂指令数据生产
针对复杂指令集的数量问题，研究团队基于现有分类法对复杂指令进行分解，提出了一种基于开源数据与已有约束结构的数据生产方法以及校验准则的方法。
种子指令挑选：团队从 WildChat 和 Alpaca 等数据集中多样化地筛选种子指令，并通过主题和任务标签进行细致挑选。
带规则约束的指令发散：团队在细粒度规则和约束下自演化指令，结合代码执行和 LLM 判别两种验证方式，确保生成指令的多样性和有效性。
回复生产与质量校验：团队利用 LLM 生成回复并通过多重验证筛除低质量样本，同时用 LLM 判别典型问题以保证指令和回复的合理性。
面向复杂指令任务下推理的强化学习
团队提出利用强化学习（RL）方法（采用 GRPO 算法），通过规则驱动的奖励机制，优化大语言模型在复杂指令下的结构化推理能力，提升最终答案的准确性。
基于规则的奖励建模：团队设计了基于规则的奖励函数，分别对推理格式和多约束满足度进行评价，结合启发式与奖励模型，实现对复杂指令响应的精细化引导。
经验回放缓冲区筛选：团队引入自适应经验回放机制，通过对比有无推理过程的样本表现，筛选并强化能带来更优结果的推理链，提升模型在复杂任务下的推理有效性。
策略模型分布偏移控制：采用行为克隆约束策略分布，防止模型在片面追求约束满足时牺牲语义或遗忘原有知识，确保推理内容与答案的语义一致性和流畅性。
结果与讨论与基线方法的比较
此方法能有效提升大多数现有 LLM 在处理复杂指令时的表现，体现了深度推理的泛化能力。
相比之下，CoT 提示会导致所有模型性能大幅下降，进一步证实了浅层思考的负面影响。SDC 方法将推理与回答分为两步，但由于其本质上的表面性，仍未能提升推理质量。
SFT 技术通过知识蒸馏让小模型模仿强模型的推理模式，保证了思考的深度和广度。但 SFT 的缺点是对训练外样本的泛化能力较差。基于 RL 的训练方式则教会 LLM 如何思考，推动多样化推理的自我发展，而非简单记忆。
不同模型大小与基座的比较
小模型（1.5B）在训练中获得的提升远大于大模型，显示了小模型通过测试时扩展的潜力。
DeepSeek 蒸馏的 LLM 因广泛模仿任务而在推理的结构学习上有更好的起点。Ministral 和 LLaMA 的能力不如 Qwen，且 LLaMA3.1-8B 在训练中出现模型崩溃。
LLaMA 模型在训练中出现响应急剧缩短和 KL 惩罚激增，表明其偏离初始状态。这可能与底座模型的预训练知识有关，LLaMA 倾向于无休止地生成思考，难以输出一致的语义响应，最终导致崩溃。
与 SOTA 方法的比较
团队在 ComplexBench 上实现了多种 SOTA 方法，并在最复杂的 Chain 和 Selection 类别上表现出色。这表明深度推理确实有助于 LLM 分析并完成真正相关且有约束的请求。
推理模式的变化
关键词如" first "" second "等的变化显示，所有 LLM 在 CFBench 和 ComplexBench 等高难度基准上推理词频增加，证实了深度推理的重要性。对于没有复杂结构的指令，慢思考 LLM 的关键词频率随着响应长度变短而略有下降。
数学数据的重要性
DeepScaleR 在推理能力培养上起到了积极作用，数学题数量的增加与 CoT token 增长和性能提升正相关。
筛选机制的作用
优秀 CoT 样本比例先降后升，说明训练中浅层到深层推理的转变被促进，最终带来更高奖励的响应。经验回放中筛选优秀 CoT 样本有助于满足输出格式约束，防止劣质推理获得奖励，并为模仿专家思维留出时间。
团队发现，直接模仿专家推理不仅鼓励模型获得格式奖励，还能稳定训练并弥补规则奖励的不足。
论文地址：https://arxiv.org/pdf/2506.01413
项目地址：https://github.com/yuleiqin/RAIF
数据：
https://huggingface.co/collections/yolay/raif-arxivorg-pdf-250601413-682b16e5c0c2fa9b73811369
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
泰禾优配-配资专业网上配资开户-股票配资平台官网入口-股票配资门户网站提示：文章来自网络，不代表本站观点。
- 上一篇：西藏炒股配资就容易导致票房走势不佳
- 下一篇：没有了
