把刚烈模子的时期"蒸馏"给小模子，听起来很好意思——

但放到多轮对话 Agent 场景里，搁置频频一塌蒙胧。

为什么？

香港汉文大学聚集阿里通义办事群给出了谜底，并提倡了一种名为 TCOD（Temporal Curriculum On-Policy Distillation）的侦察措施。

上图（左）示意在多轮 Agent 的 OPD 侦察中，跟着交互轮次的增多，老师模子对学生生成回话中各 token 的概率分拨合手续镌汰，标明每轮的 KL 散度抑止攀升，最终导致监督信号失效。（右）示意原始 OPD 使用完满轨迹进行侦察，因此包含了悉数蓄积的过失；而 TCOD-F2B/B2F 则通过课程学习，从短轨迹缓缓彭胀至长轨迹，灵验回避了过失轮次的插手。）

团队发现失效的根柢原因在于轨迹级 KL 不清爽性，每一轮过失抑止蓄积，把学生模子推到讲授模子从未见过的现象区域，讲授的监督信号因此绝对失效。

而 TCOD 用课程学习的想路，让学生模子从短轨迹着手、纪律渐进地学习完满轨迹，一举贬责了多轮 Agent 蒸馏的清爽性难题。

TCOD 只需对现存 OPD 代码作念少量更动

On-Policy Distillation（OPD）也曾在 SFT 和 RL 之后，成为了第三种灵验的 post-training 侦察花式。

相关词 OPD 固然在数学推理等单轮任务上很好用，但放到 ALFWorld、WebShop 这类多轮交互任务里，径直翻车：

小模子：KL 散度飙升 + 到手率坍塌到接近 0

大一丝的模子：固然最终敛迹，但运转 KL 极高，侦察极不清爽

( ALFWorld 上不同师生模子组合的轨迹级 KL 分析。 ( a ) ( b ) 露出，在悉数这个词侦察历程中 KL 散度合手续攀升，同期任务完成率出现坍塌。 ( c ) 展示了 OPD 侦察中运转 KL 与敛迹后 KL 之间的高大差距。 ( d ) 揭示了背后的根柢原因：KL 散度随交互轮次的增多而增大，2026世界杯比赛买输赢中国官网标明过失沿轨迹地点抑止蓄积放大。 )

那 TCOD 是奈何贬责的呢？

中枢想路很绵薄：别一着手就让学生孤独走完满条轨迹，用课程学习，从短到长缓缓来。

具体有两种变体：

F2B（前向到后向）：先让学生慎重前几步，再缓缓接收后续要道

B2F（后向到前向）：先让讲授指令到接近特殊的现象，学生只慎重临了几步，再逐渐上前延长

两种花式只需对现存 OPD 代码作念少量更动。

KL 崩溃被绝对压制，小模子径直"满血回生"

团队在三个难度递加的多轮 Agent 基准上考据了 TCOD 的搁置，包括 ALFWorld（具身导航）、WebShop（电商购物）以及 ScienceWorld（科学推理）。

在这些基准上，TCOD 到手率最高普及了 18 个百分点，同期把平均行为步数也一并压了下来。

最值得关怀的，K8凯发官方网站是小模子的"死而复生"。

以Qwen3-1.7B为例，用 Vanilla OPD 侦察后，模子在三个基准上的平均到手率仅有0.17%。

这险些是十足崩溃、毫无可用性。

但换上 TCOD 之后，归拢个 1.7B 小模子的平均到手直露接拉升至18% 以上，普及幅度卓越 18 个百分点。

这意味着，TCOD 把一个"废了"的模子再行训活了。

关于更大的模子，TCOD 则是诚心诚意。

以Qwen2.5-3B学生模子为例，在 ALFWorld 的 Valid Unseen 测试集上，Vanilla OPD 到手率为60.45%，而 TCOD-F2B 的到手率为79.19%，普及了 18.74 个点。

不仅如斯，TCOD 还把完成任务所需的平均行为步数压缩了 2.97 步，推理着力和任务性能同步普及。

TCOD 与 OPD 在 ALFWorld 上的侦察动态对比

上图 ( a ) ( b ) 鉴识展示了以 Qwen2.5-7B 为学生模子，Qwen2.5-7B-RL 之后的看成 teacher 模子时的到手率与 KL 散度变化弧线。TCOD 在悉数这个词侦察历程中长久保合手更高的到手率，同期 KL 散度也愈加自如可控。

TCOD 与 OPD 在 ALFWorld 上的侦察动态对比

上图 ( a ) ( b ) 鉴识展示了以 Qwen2.5-7B 为学生模子，Qwen2.5-7B-RL 之后的看成 teacher 模子时的侦察历程中的平均行为步数与上风函数的变化弧线。

盘问东谈主员还成心构建了一个Hard 测试集——

121 个老师模子 pass@10 采样沿路失败的任务，老师自己到手率仅 6.61%。

搁置，Qwen2.5-7B 学生模子在 TCOD-B2F 的侦察下，Hard 集到手率达到 20.66%，比老师卓越整整 14 个点。

让模子学会"从短到长、纪律渐进"地走轨迹，不仅能学会讲授会的，还能泛化到讲授根柢不会的任务。

△TCOD 与 OPD 在 ALFWorld 上的域外泛化及贫寒集性能对比

另外，盘问东谈主员还测试了侦察着力。

TCOD-F2B 和 B2F 比 Vanilla OPD 减少了约32%的总侦察时候。

原因也很径直：课程学习早期只走短轨迹，rollout 更短、数据收罗更快，省下来的计较量很是可不雅。

团队还进一步考据了超参鲁棒性，发现课程彭胀速度 η 在 {2，4，6} 之间变动，到手率波动不卓越 2%，险些不需要调参就能径直用。

TCOD 展现出的这种"纪律渐进"模式，让 AI 更接近东谈主类学习的花式。

也即是先在绵薄场景里站稳脚跟，再缓缓挑战复杂任务，而不是一着手就被扔进深水区。

将来，这类时序课程机制很可能成为侦察长程 Agent 的标配组件。

论文：https://arxiv.org/pdf/2604.24005

GitHub：https://github.com/kokolerk/TCOD

ModelScope：https://modelscope.cn/collections/wjqkoko/TCOD

Hugging Face：https://huggingface.co/collections/kolerk/tcod

一键三连「点赞」「转发」「防卫心」

接待在驳斥区留住你的主见！

—  完  —

咱们正在招聘又名眼疾手快、关怀 AI 的学术裁剪实习生  � �

感深嗜深嗜的小伙伴接待关怀 � �  了解笃定

� � 点亮星标 � �

科技前沿阐扬逐日见K8凯发中国官方网站