LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

Wavelet Diffusion Models在小波空间压缩少步扩散 GAN

一句话结论

WaveDiff 在 DDGAN 的 2–4 step adversarial diffusion 上,把图像变换到 $4C\times H/2\times W/2$ 的 wavelet space,并重做 frequency-aware U-Net;它在若干无条件数据集上降低约 2.5–4× FLOPs 与显存、改善对 DDGAN 的速度—质量前沿,但不覆盖 text-to-image、编辑、LDM 或 DiT。

论文定位

这是表示空间与网络结构联合压缩,不是 solver、蒸馏或现代 latent diffusion。模型仍依赖 GAN discriminator,从头为每个数据集训练,速度还来自减少网络深度,因此不能把全部收益归给 DWT。

问题定义

DDGAN 已把采样缩到 2–4 步,但 pixel-space U-Net 仍昂贵。WaveDiff 用固定、可逆 DWT 降低空间网格,并希望频率专用 blocks 保住高频细节。

方法概述

  • 单层 DWT 把空间尺寸减半、通道变为四倍;IWT 恢复图像。
  • 沿用 DDGAN 的 adversarial transition training,并加入 subband/image $L_1$ reconstruction。
  • frequency-aware down/up blocks、wavelet residual 和 low-frequency bottleneck 构成 U-Net-like generator。
  • 高频在 bottleneck 中直接传递;主要卷积在低频/低空间分辨率上运行。

核心实验与结果

FLOPs / memory(PDF p.6,Table 1)

数据DDGANWaveDiff
CIFAR7.05G / 0.31G1.67G / 0.16G
256²70.82G / 3.21G28.54G / 1.07G
512²282.00G / 12.30G74.35G / 3.22G

质量—速度

  • CIFAR:FID 4.01、Recall 0.55、0.08s;DDGAN 3.75/0.57,作者机器复现约 0.30s。速度更快但质量略差。
  • STL:12.93/0.41/0.38s;DDGAN 21.79/0.40/0.58s。
  • CelebA-HQ 256:5.94/0.37/0.79s;DDGAN 7.64/0.36/1.73s。
  • CelebA-HQ 512:6.40/0.35/0.59s;DDGAN 8.43/0.33/1.49s。
  • LSUN-Church:5.06/0.40/1.54s;DDGAN 5.25/未报/3.42s。

跨论文 speed 数字硬件不完全统一;只有带星号的 DDGAN 时间是作者机器复现。

关键消融

CelebA-HQ 256:full FID 5.94/0.79s;去 residual 6.25/0.78s,去 wavelet up/down 6.23/0.61s,去 bottleneck 6.18/0.78s。完整网络质量最好,但部分组件增益小且增加 latency。reconstruction term 约改善 0.6 FID。

batch size 也显著影响 FID;CelebA 512 与 DDGAN 未能在完全相同 batch size 下重训,公平性存在缺口。

训练与部署边界

  • CIFAR/STL 单卡训练约 1.6/3.6 天;LSUN 4×A100 6.8 天;CelebA 512 8×A100 4.3 天。
  • 参数量并非总更少,例如 STL 为 55.58M 对 DDGAN 48.43M。
  • batch-1 约 0.07–0.16s;主文的 batch 25/100 latency 与 batch-1 数字不可混用。

局限或疑问

  • 无条件、dataset-specific、adversarial diffusion;不代表标准 DDPM/LDM/DiT。
  • 无文本对齐、编辑保持、控制或跨任务迁移证据。
  • 高分辨率 baseline 的 batch size 不完全受控。
  • 速度来自 DWT、网络深度和配置共同变化,缺单变量 wall-clock 分解。
  • progressive upsampling 失败(CelebA 256 FID 13.11),低/高频生成仍存在匹配问题。

对当前 Wiki 判断的影响

  • 直接支持 扩散效率工程 中“representation/network cost 与 NFE 是不同旋钮”。
  • 扩散模型 是早期 U-Net/DDGAN 替代路线,不是现代 DiT 主线。
  • 对统一图像模型 question 不应引用:论文不做多任务、编辑或统一接口。旧 entity/question 关联已移除。

原始链接

相关页面