7月6日，清华大学自动化系黄高团队牵头完成的论文《灵活性陷阱：反思扩散语言模型中任意顺序的价值》（“The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models”） 荣获第43届国际机器学习会议（International Conference on Machine Learning，ICML）杰出论文奖（Outstanding Paper Award，原最佳论文奖）。该论文是ICML自设立大会最佳/杰出论文奖二十余年以来，首篇完全由中国单位完成的获奖成果。
获奖证书
当前，以GPT为代表的大模型大多采用“下一词元预测”（Next-Token Prediction）的自回归建模范式。该范式按照从左到右的顺序逐词元生成文本，在通用语言理解和生成等任务中展现了前所未有的复杂推理能力。然而，其固定的生成顺序也限制了模型在解码过程中的灵活性和高效性。
近年来，扩散语言模型（Diffusion Language Model, DLM）作为一类新型生成模型逐渐兴起。不同于自回归语言模型，扩散语言模型不依赖从左到右的解码顺序，具有更加灵活的“任意顺序生成”特点。直观上，这种灵活性有助于模型在数学推理、代码生成等复杂任务中探索更丰富的解题路径。
然而，该论文提出了一个反直觉的发现：扩散语言模型“任意顺序解码”的灵活性并未真正带来预期中的推理能力边界扩展。论文分析表明，模型在高置信度优先的解码机制下，往往会绕开那些不确定但具有关键链接作用的词元，进而先生成更具确定性的内容，从而过早锁定推理路径，反而牺牲了生成内容的多样性。而这种多样性对于当前广泛采用的强化学习后训练（post-training）是至关重要的。
为此，论文进一步提出了极简的JustGRPO后训练算法：在强化学习后训练阶段，为鼓励模型直面推理中的关键不确定性，放弃了扩散语言模型看似更灵活的“任意顺序解码”方式，而采用最朴素的自回归顺序解码，同时使用简单成熟的GRPO（Group Relative Policy Optimization）强化学习算法进行优化。由于这一过程与标准语言模型后训练范式更加一致，JustGRPO方法无需引入复杂的采样策略或额外训练目标，极大简化了模型后训练流程。值得一提的是，该方法仅在后训练阶段采用顺序解码，而在推理阶段仍可使用任意顺序进行生成，因此保留了扩散语言模型在生成效率和灵活性等方面的优势。
图1. 本研究发现，扩散语言模型的任意顺序解码可能绕开高不确定性但关键的词元，反而导致探索空间坍缩。基于该发现，论文提出了极简的JustGRPO算法，即在后训练阶段采用自回归顺序解码，使模型直面关键不确定性，既简化了训练过程，又保留了扩散语言模型的高效性和灵活性，在数学推理和代码生成任务上达到了世界领先水平。
实验结果表明，JustGRPO在多个数学推理和代码生成国际评测榜单上的表现显著超越Meta、NVIDIA、MIT、UCLA等机构提出的现有扩散语言模型后训练方法，达到了世界领先水平。在训练效率方面，论文进一步提出JustGRPO-Fast方法，通过仅在具有最高熵的25%词元位置进行强化学习前向计算，可在不牺牲训练效果的前提下，将前向计算效率提升4倍。
该工作揭示了扩散语言模型任意顺序生成的灵活性并不必然带来更强的推理能力，并分析了产生该现象的原因。同时，该论文为未来扩散语言模型的强化学习训练提供了一个简洁、易实现且具有启发性的基线方法，也为如何结合自回归语言模型和扩散语言模型这两类生成式大模型各自优势提供了新的思路和方向。
论文的前三位作者分别为清华大学自动化系博士生倪赞林、王慎执和乐洋，通讯作者为清华大学自动化系黄高副教授。
获奖信息
获奖团队合影
ICML是人工智能和机器学习领域历史悠久、最具影响力的国际学术会议之一。杰出论文奖为大会最高论文奖项，旨在表彰具有广泛和深远学术影响潜力的突出成果。本届会议共收到24661篇有效投稿，最终仅有2篇论文获得此奖项，另一篇杰出论文由麻省理工学院和耶鲁大学联合完成。
ICML奖励评审委员会对本文评价表示，在扩散大语言模型正逐渐确立其作为自回归大语言模型有力竞争者地位的背景下，本文提出了一种令人耳目一新的反直觉观点，挑战了该领域的一项主流假设。任意顺序生成（例如基于置信度的生成）通常被认为是扩散大语言模型的核心特征之一，并使其能够实现更高效的生成；然而，作者有力证明，在通用推理任务中，扩散大语言模型会利用这种自由度，恰恰绕开那些不确定性最高、最为关键的“分叉”词元，从而导致解答多样性坍缩。这是一种非显而易见的失效模式，在该工作之前远未被人察觉。基于这一洞察，作者提出重新审视扩散大语言模型的后训练方法：在强化学习采样过程中，采用更简单、固定的从左到右生成顺序（即其提出的JustGRPO方法），同时在推理阶段仍保留并行解码。该方法也突显了一个仍有待深入探索的问题：在扩散大语言模型中，应当由何种策略来驱动强化学习采样过程。
论文链接：
