凤凰彩票_凤凰彩首页 复旦大学与阿里巴巴联手: 让AI画图模子同期"精明百艺"的新方法

这项由复旦大学与阿里巴巴集团万象团队聚积开展的征询，以预印本口头于2026年5月14日发布在arXiv平台，论文编号为arXiv:2605.15055。感风趣的读者可通过该编号在arXiv上检索竣工论文。

当你大开一款AI画图软件，顺手输入一段笔墨描述，几秒钟后屏幕上便出现了一张缜密的图片。这背后，是一个叫作念"扩散模子"的AI系统在缄默运作。畴昔几年，征询者们依然可以通过"强化学习"的方式，把这类模子磨真金不怕火得越来越专注于某一项妙技——比如让画面更顺眼、让笔墨渲染更准确、或者让物体的空间筹办更顺应描述。

可是，一个践诺的苦恼长期存在：现实中的用户并不单想要一项妙技，他们但愿归拢个模子既能画得顺眼，又能准确呈现笔墨，还能正确意会"把苹果放在篮子左边"这样的空间指示。这就像一个厨师，弗成只会作念一说念菜，得是个全才。但问题在于，现存的磨真金不怕火方法在濒临多项任务时常常衣衫破烂：要么几个任务相互干与、越练越乱，要么得一个任务一个任务地轮换教，费时辛勤，况兼教完新任务又容易把旧任务忘掉。

这篇论文建议的方法叫作念**DiffusionOPD**，其中OPD代表"在线战略蒸馏"（On-Policy Distillation）。征询团队用一个相配智慧的念念路处理了上述难题，并在多个泰斗评测上获取了现在最佳的收货。

---

一、为什么"万能选手"这样难培养

回到厨师的譬如。假定你要培养一个能同期烹调川菜、粤菜和法餐的厨师，时常有两条路可走。第一条路是让他同期学三种菜系，每天混着练。听起来高效，但问题相继而至——川菜追求麻辣，法餐认真高超清淡，这两种口味的磨真金不怕火标的自己就相互禁闭。更艰难的是，粤菜相对容易上手，学徒很可能把大部分元气心灵齐花在粤菜上，罢了法餐练得稀烂。这便是征询者所说的"跨任务干与"和"任务难度失衡"。

第二条路是轮换教：先练一个月川菜，再练一个月粤菜，再练一个月法餐。这幸免了同期学习的禁闭，但带来了另一个盛名的艰难——学完法餐之后，厨师时常把川菜忘了泰半。征询者把这个表象称为"横祸性渐忘"，在AI磨真金不怕火中相似多数存在。况兼这种方式需要用心遐想每个阶段的磨真金不怕火决策，相配繁琐。

DiffusionOPD的中枢念念路是：把这两个行为澈底拒绝，先让每个任务零丁培养出一位"专业行家"，再由一个"万能学徒"同期向扫数行家学习。专业行家只需专注我方的鸿沟，互不干与；而万能学徒的学习过程也不是从零驱动摸索，而是径直从行家们的老师中吸收精华。这样一来，既幸免了多任务同期磨真金不怕火的杂沓，也不需要回来渐忘的问题。

---

二、从谈话模子借来的"在场学习"法

这个念念路并非臆造而来。在大谈话模子（便是雷同ChatGPT那类能聊天的AI）鸿沟，有一种叫作念"在线战略蒸馏"的磨真金不怕火方法，依然被解说相配灵验。它的中枢精神是：学生不应该在憨厚演示的场景下锻真金不怕火，而应该在我方践诺生成的内容上，向憨厚学习每一步何如作念得更好。

打个比方，普通的学习方式像是摹仿字帖——憨厚写一个字，你照着描。而在线战略蒸馏更像是这样：你我方先写一个字，写完之后憨厚指着你写的每一笔说"这里应该这样运笔，那边力说念要轻一些"。这种方式的克己是，憨厚的指点长期针对你我方践诺会犯的颠倒，而不是对着一个联想范本给出与你无关的建议。

征询团队的第一个使命，便是把这套正本为笔墨AI遐想的方法，移植到图像生成的扩散模子上。这个移植过程并不轻便，因为两者的使命机制有实质不同。笔墨AI每次生成一个词，是从有限的词汇内外选一个；而扩散模子的每一步，是在运动的像素空间里作念隐微退换，每一步齐是无限多种可能。

---

三、把图像生成意会成一条"去噪之旅"

要意会DiffusionOPD的数学旨趣，先得了解扩散模子的使命方式。一张图片的生成过程，可以瞎想成从一团随即噪点开赴，一步步把杂质去掉，最终雕刻出领会图像的过程——就像雕琢家濒临一块原石，一刀一刀凿去过剩的部分，最终败闪现作品的神情。

这个"去噪"过程可以分红若干行为，每一步，模子齐要瞻望"下一步应该往哪个标的退换"。在数学上，这被抒发为一个从面前情状开赴、跳到下一个情状的概率散播——征询团队将其称为"马尔可夫链上的高斯转念核"。

重要在于：在职意一步，学生模子和憨厚模子天然会瞻望不同的"退换标的"，但它们退换时引入的随即性大小是所有疏导的。这就概况两位雕琢家在归拢步齐使用疏导力度的凿子，但凿的位置稍有不同。由于随即性部分统息争样，两者之间的各异就只取决于各自瞻望的"退换标的均值"之间的距离。

这个发现相配遑急，因为它意味着预计学生和憨厚在某一步有多不一样，可以精准地用一个直快的数学公式抒发出来——两者瞻望的"均值"之间的距离平方，开云体育(中国)官方网站除以行为的随即幅度平方。这个量叫作念"KL散度"的闭合口头，不需要作念任何近似或随即采样，可以径直精准狡计。

扫数这个词磨真金不怕火想法因此变得相配领会：沿着学生模子我方走出的去噪轨迹，在每一步齐让学生的瞻望标的尽量围聚对应憨厚的瞻望标的，把扫数行为的差距加起来，让这个总差距尽量小。

---

四、为什么毋庸更流行的"PPO强化学习"

熟练AI磨真金不怕火的读者可能会问：强化学习里有一种相配流行的算法叫PPO（近端战略优化），它依然被平常用于扩散模子的磨真金不怕火，为什么这里要换一种方式？

征询团队对这个问题作念了详备的数学分析。他们发现，如若把每一步的KL散度作为一个奖励信号，再用PPO来优化，名义上看起来行得通，但背后会有一个问题：PPO的梯度狡计中，除了一个有用的"标的梯度"除外，还多出了一个荒芜的项，这个项的口头是"随即噪声乘以梯度"。

从数学上看，这个过剩的项在守望酷好下第于零——也便是说平均而言它不会指错标的。但它的存在大大加多了每次梯度估量的抖动进程，就像你在阴霾顶用手电筒找路，手电筒自己的相识性变差了，天然平均映照标的没错，但每一步齐在独揽浪荡，走起来天然更慢、更容易走偏。

比拟之下，径直优化阿谁可以精准狡计的KL散度公式，梯度就所有来自详情趣的瞻望均值，莫得任何荒芜噪声。两种方法在守望上等价，但一个稳，一个抖，磨真金不怕火恶果天然不同。

除此除外，PPO的框架依赖于"随即战略"的成见——模子必须能对每个动作输出一个概率密度，然后狡计遑急性比例。但关于扩散模子的详情趣ODE采样器（一种不引入荒芜随即性的采样方式）来说，根底不存在这样的概率密度，PPO就没法用了。而径直优化KL散度公式的方式，对SDE（随即微分方程，有随即性）和ODE（常微分方程，无随即性）两种采样器齐所有适用，凤凰彩票_凤凰彩首页是一个更通用的框架。

---

五、具体何如磨真金不怕火：两阶段活水线

扫数这个词DiffusionOPD的磨真金不怕火历程分为两个阶段，可以用"培养民众，再培养全才"来抽象。

第一阶段是零丁培养每位专业憨厚。征询团队为三类任务各磨真金不怕火了一个特意的模子。第一类是"构图意会"任务，使用GenEval评测体系，预计模子能否正确意会"苹果在篮子左边""斑马在消防栓右边"这类空间筹办，这个憨厚用DiffusionNFT算法磨真金不怕火，因为它在这个任务上经管更快、上限更高。第二类是"笔墨渲染"任务，预计模子能否在图片中准确生成指定的笔墨，这个憨厚用GRPO-Guard算法磨真金不怕火，因为DiffusionNFT在这个任务上容易"走捷径"——通过误会图片来刷高分数，而不是信得过学会写字。第三类是"好意思不雅度"任务，综合PickScore、ClipScore和HPSv2.1三个评分维度，相似用GRPO-Guard磨真金不怕火。三位憨厚各自零丁磨真金不怕火，互不干与，每东说念主只需专注我方的专长。

第二阶段是万能学徒的在线学习。学生模子从原始的预磨真金不怕火扩散模子开赴，按照轮询方式一一向每位憨厚学习。每轮学习的具体历程如下：关于某个任务，先从对应的领导词数据集里取一批笔墨描述，然后用面前的学生模子（不更新参数，只生成轨迹）作念一次竣工的去噪生成，得到这条"在线轨迹"。接着，让对应的憨厚模子在相似的轨迹情状点上作念瞻望，狡计每一步的均值差距，把扫数行为的差距加总。轮换对三个任务齐完成这个狡计，把三个任务的亏本加在沿途，息争作念一次反向传播更新学生参数。这种在整轮轮回收尾后才作念一次参数更新的方式，确保每次更新齐充分反馈了三个任务的综合需求，幸免模子偏向某一个任务。

---

六、实验罢了：到底好若干

征询团队在一套遮掩两类章程奖励和六类模子奖励的综合评测体系上进行了对比实验，基础模子是Stable Diffusion 3.5 Medium，分辨率为512×512。

章程类奖励包括GenEval（构图意会，满分1.0）和OCR（笔墨渲染，亦然满分1.0）。模子类奖励包括PickScore（东说念主类偏好评分）、ClipScore（图文匹配度）、HPSv2.1（另一种东说念主类偏好评分）、Aesthetics（好意思不雅度，满分10分）、ImageReward（图像综合奖励）和UnifiedReward（多模态息争奖励）。

对比基准遮掩了多个档次。最先是三位单任务憨厚我方的进展，可以看到每位憨厚如实只在我方的专长鸿沟杰出：构图憨厚GenEval达到0.96但好意思不雅度只消5.24，笔墨憨厚OCR达到0.93但GenEval只消0.65，好意思不雅憨厚PickScore达到24.02但GenEval只消0.49。其次是两种聚积磨真金不怕火的多任务强化学习方法：Multi-Task GRPO-Guard和Multi-Task NFT，两者永诀需要约130小时GPU本事，综合平平分永诀为0.763和0.715。再次是级联磨真金不怕火方法Cascade NFT，轮换在三个任务上规矩微调，耗时约148小时，综合平平分达到0.851，依然格外可以，但依然存在横祸性渐忘的问题，且磨真金不怕火历程最为繁琐。

DiffusionOPD的罢了则是：综合平平分达到0.929，超越扫数基准。具体来看，GenEval为0.96（与单任务憨厚握平），OCR为0.94，PickScore为23.99，HPSv2.1为0.342，Aesthetics为6.15，ImageReward为1.50，UnifiedReward为3.50。更遑急的是，DiffusionOPD所用的总磨真金不怕火本事为憨厚最长磨真金不怕火本事（好意思不雅憨厚85.75小时）加上蒸馏磨真金不怕火本事（11.26小时），算计约97小时，远少于级联NFT的148小时，也少于聚积磨真金不怕火方法的130小时独揽。

从经管弧线上看，多任务聚积磨真金不怕火方法的PickScore增长弧线昭彰比单任务憨厚的磨真金不怕火弧线更直快，讲解多任务干与如实严重拖慢了学习速率。DiffusionOPD的弧线则从一驱动就呈现出较快的爬升趋势，最终相识在0.914近邻，比级联NFT的0.903还逾越一截。

---

七、消融实验：哪些遐想汲取确凿灵验

征询团队还通过一系列"戒指变量"实验考证了重要遐想汲取的恶果。

第一组对比是不同的蒸馏方法。征询团队在疏导的教师模子和疏导的在线轨迹采样方式下，永诀尝试了DMD（散播匹配蒸馏）、TDM（轨迹散播匹配）、SFT（有监督微调，即让学生径直效法憨厚生成的图片）以及DiffusionOPD自己。其中SFT是离线的——用憨厚事前生成的图片来监督学生，而不是在学生我方的轨迹上作念监督。实验罢了自满，DiffusionOPD在GenEval、OCR和PickScore三个蓄意上均获取了最快的经管速率和最高的性能上限，尤其在早期磨真金不怕火阶段就昭彰当先其他方法。

第二组对比是亏本函数的口头。在所有疏导的采样噪声水平（a=0.7）下，径直优化闭合口头KL散度与使用PPO作风战略梯度的恶果进行对比。罢了如表面分析所预期：在疏导噪声水平下，闭合KL想法比PPO方法经管更快、最终分数更高，考证了减少梯度方差如实带来了践诺收益。

第三组对比是采样器的噪声水平。征询团队永诀测试了噪声水平a等于0.7、0.5、0.3以及所有无噪声的ODE采样器（格外于a=0）。实验罢了相配领会：噪声水平越低，经管速率越快，最终性能越高。使用ODE采样器（无噪声）的版块，比噪声水平为0.7的SDE版块快出约五倍，这与表面分析高度一致——噪声越小，每步的KL估量越精准，梯度信号越干净。这亦然为什么DiffusionOPD默许使用详情趣ODE采样器来进行蒸馏磨真金不怕火。

---

归根结底，DiffusionOPD作念的事情可以用一句话抽象：先让每个高东说念主各自砥砺，再让一个学徒同期随着扫数高东说念主沿途练，况兼学徒的锻真金不怕火场景所有来自我方践诺操作，而非照着高东说念主的范本边幅。这种念念路在推论中带来了双重收益——磨真金不怕火更快，恶果更好，况兼从表面上也有严格的数学复古讲解为什么这样作念灵验。

关于普通用户而言，这项征询意味着畴昔的AI画图器用有望在单一模子内同期终了更准确的笔墨渲染、更合理的空间构图和更高的视觉好意思不雅度，而不需要为每个需求单独切换不同的模子版块。天然，现在这套方法的考证主要麇集在512×512分辨率的SD3.5-Medium模子上，能否平滑推广到更大限度的模子和更高分辨率，是一个值得进一步探索的盛开问题。另外，教师模子的质地上限径直决定了学生能达到的高度，若何培养出更强的单任务教师，相似是这一框架畴昔发展的遑急标的。感风趣的读者可以通过arXiv:2605.15055进一步查阅竣工的论文原文。

---

Q&A

Q1：DiffusionOPD和普通多任务强化学习有什么实质区别？

A：普通多任务强化学习让一个模子同期学多个任务，不同任务的磨真金不怕火信号会相互干与，还容易偏向轻便任务。DiffusionOPD先为每个任务单独磨真金不怕火一个民众模子，再让一个息争的学生模子沿着我方的生成轨迹，逍遥向各民众模子靠近。这样民众磨真金不怕火时互不干与，学生学习时也不需要从零摸索，罢了是磨真金不怕火更快、恶果更好。

Q2：扩散模子磨真金不怕火中"在线战略"和"离线战略"有什么区别？

A：离线战略是让憨厚先生成一批图片，再让学生照着效法，就像摹仿字帖。在线战略是让学生我方先走一遍生成过程，然后憨厚针对学生践诺走的每一步给出考订建议。DiffusionOPD用的是在线战略，憨厚的指点长期瞄准学生我方践诺犯错的场所，因此比离线方式更有针对性，经管也更快。

Q3：DiffusionOPD为什么默许用ODE采样器而不是SDE采样器？

A：SDE采样器每步齐会注入荒芜的随即噪声，导致对磨真金不怕火梯度的估量产生荒芜抖动，就像在颤动的路上开车凤凰彩票_凤凰彩首页，标的不稳。ODE采样器不引入荒芜噪声，每步的梯度信号更干净。实验标明，ODE采样器比高噪声SDE采样器的磨真金不怕火服从逾越约五倍，因此被缔造为默许选项。