ACT-Diffusion(CVPR 2024):用对抗一致性训练把一步扩散做得更省
会议:CVPR 2024
发表日期:2024-06-17
资料加入日期:2026-04-15
一句话结论
这篇工作把 one-step diffusion 的质量—成本权衡推进了一步:它不是单纯追求更快采样,而是试图用对抗式分布匹配把一致性训练做得更省、更稳。
问题定义
它要解决的是扩散模型逐步去噪太慢,而现有 consistency training 虽然能把采样压到一步,却常常牺牲质量、同时又需要很大的 batch 和训练资源。对当前 wiki 来说,这篇论文补的是 diffusion efficiency 主线里非常重要的一段:如何让“一步扩散”不只是 demo,而更接近可用路线。
方法概述
ACT 的核心是在一致性训练框架里加入判别器,直接在每个时间步上最小化分布差异,从而避免单纯靠 consistency loss 累积造成的训练负担。论文从 Wasserstein / JS divergence 的角度解释为什么原始路线会越训越贵,并把改进落在一个更资源友好的训练目标上。
关键发现
- 它说明扩散效率路线不只是在推理时做缓存或蒸馏,也可以在训练目标层直接改写成本结构。
- 它把 one-step diffusion 从“快但质量差”往前推进,补强了 topics/diffusion-models 里的一步式/少步式扩散分支。
- 它和 sources/2026-04-15-deepcache 形成很好的对照:前者改训练,后者改推理,两者都说明效率问题正在从不同层被系统性拆解。
局限或疑问
- 它的主要证据还是标准图像生成 benchmark,对复杂编辑和长视频场景的迁移性还不清楚。
- 判别器引入后是否会带来新的训练脆弱性,需要和更大规模设置一起看。
- 一步扩散的速度优势能否在更高分辨率、更多控制条件下保持,仍需继续验证。
原始链接
- https://openaccess.thecvf.com/content/CVPR2024/html/Kong_ACT-Diffusion_Efficient_Adversarial_Consistency_Training_for_One-step_Diffusion_Models_CVPR_2024_paper.html
- https://openaccess.thecvf.com/content/CVPR2024/papers/Kong_ACT-Diffusion_Efficient_Adversarial_Consistency_Training_for_One-step_Diffusion_Models_CVPR_2024_paper.pdf
相关页面
备注
它在本库里的位置很像“训练侧效率路线”的代表点:如果以后要比较扩散系统为什么会变快,ACT-Diffusion 很适合和蒸馏、缓存、采样步长优化三类方法并读。