一句话结论
EPD-Solver 在冻结 denoiser 的前提下,学习每个 ODE 区间的两个并行中间梯度及其组合;它在单张 4090、batch 1 的特定设置中以更多总网络计算换取近似不变的串行延迟,并显著改善 3–5 Para. NFE 的 FID,因此应称为 solver critical-path parallelization,不是“免费减少总 NFE”。
论文定位
这是一篇学习式 ODE solver 论文。与一步模型蒸馏不同,它只学习 6–45 个 solver 标量;与时间步优化不同,它修改一步更新公式并引入并行 denoiser branches;与普通多步 solver 不同,它使用当前积分区间内的梯度而非只复用历史梯度。
问题定义
高阶 solver 在极低 NFE 下仍受截断误差限制。EPD 询问:如果每个区间额外选取多个彼此独立的中间点,能否在 GPU 上并行评估并缩短 critical path,同时把积分近似做得更准?
方法概述
- 每步学习 $K$ 个中间时刻、simplex 权重、时间偏移和输出缩放。
- 各中间 state 都由同一起点做 Euler 预测,因此梯度可以并行。
- 用 DPM-Solver-2 的高密 teacher trajectory 蒸馏 solver 参数;noisy states 用 $L_2$,最终图像用 Inception feature distance。
- EPD-Plugin 把相同方向估计嵌入 iPNDM。
- 默认 $K=2$;更大 $K$ 的质量收益快速饱和。
核心实验与结果
| 设置 | Para. NFE | 最相关基线 → EPD-Solver FID |
|---|---|---|
| CIFAR-10 | 5 | AMED 7.59 → 4.33 |
| FFHQ | 5 | AMED 14.80 → 7.84 |
| ImageNet 64² | 5 | AMED 10.74 → 6.35 |
| LSUN Bedroom | 3 | AMED 58.21 → 13.21 |
| Stable Diffusion v1.5 | 20 | DPM-Solver++ 14.58 → 12.17 |
依据:PDF pp.6–7,Tables 1–2。摘要中的 4.47/7.97/8.17/8.26 实际对应 EPD-Plugin;不能和 EPD-Solver 行混写。
效率口径
- Para. NFE:并行后的串行深度,不是总 denoiser evaluation 数。
- 延迟:$K=1\to2$ 在 CIFAR/FFHQ/ImageNet 的单卡 batch-1 测试中近似不增;LSUN 已有小幅增加。
- 总计算/显存:额外 branches 必然增加并行工作量,论文未给总 FLOPs、峰值显存、能耗与服务吞吐。
- 离线蒸馏:10K images;CIFAR 单 4090 约 3 分钟,LSUN 4×A800 约 30 分钟。
关键消融
- $K=1\to2$ 明显降低 trajectory error;$K>2$ 收益递减。
- CIFAR 5 Para. NFE:完整 FID 4.33;去输出缩放为 5.84,去时间偏移为 5.47,两者都去为 6.62。
- time-uniform schedule 和 DPM-Solver-2 teacher 在本文设置最好。
- 学习的中间点明显优于固定/随机点组合。
局限或疑问
- “无额外 latency”依赖硬件并行余量、batch 1 与当前模型;显存受限或高吞吐部署可能不成立。
- 参数需按模型、schedule、NFE 与数据重新蒸馏。
- 主要证据是 FID,缺 prompt alignment、人评和能耗。
- 实验 backbone 是 EDM pixel model、LDM/Stable Diffusion U-Net;不提供 DiT adoption 证据。
对当前 Wiki 判断的影响
- 直接支持 扩散效率工程 新增“总计算—critical path—wall-clock”三分法。
- 直接支持 扩散模型 中“极低 NFE 的积分方向选择决定质量”。
- 对 DiT 主干趋势 仅是通用 diffusion engineering 背景,不进入正证据。