LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

On Distillation of Guided Diffusion Models把 CFG 与采样轨迹联合蒸馏到极少步

#near-cvpr-2025#image-generation#diffusion#efficiency#primary-source

一句话结论

论文先把 classifier-free guidance 的条件/无条件组合蒸馏进一个 w-conditioned U-Net，再 progressive distill 采样轨迹；在 U-Net / Stable Diffusion 上把两次网络评估与多步采样一起压缩，但它不是 DiT 主干证据。

问题定义

CFG 每一步都要执行 conditional 与 unconditional 两次去噪网络，且通常要走几十到上千步。普通 solver 只能缩短轨迹，不能消掉 CFG 的双网络开销；原 progressive distillation 也没有直接解决一个模型覆盖多种 guidance strengths 的问题。

方法概述

  1. Stage 1：guidance distillation。学生拟合 (1+w)x_c-wx_u，将 Fourier-embedded w 注入 U-Net，一个模型覆盖一个 guidance 区间。
  2. Stage 2：progressive distillation。学生一步拟合 teacher 的两步 DDIM 更新，每轮步数减半；支持确定性与随机采样。
  3. 初始化与参数化。学生从 teacher 条件分支初始化，采用 v-prediction；1–4 步区间需要更多更新。

实验设置

  • Pixel space：ImageNet 64×64、CIFAR-10；U-Net；teacher 为 conditional/unconditional 各 1024-step DDIM；FID/IS。
  • Latent space：ImageNet 256、LAION-5B 256/512；开源 Stable Diffusion / LDM U-Net；COCO2017 的 5,000 captions 上测 FID/CLIP。
  • Baseline：DDIM、DPM/DPM++、single-w 与保留双分支的朴素蒸馏。
  • 下游：SDEdit image-to-image、Stable Diffusion inpainting；另有小规模 MTurk 偏好评测。

核心结果

设置结果解释
ImageNet64, w=08-step FID 2.79/2.44；teacher 2.928–16 步可接近 teacher
LAION512, w=8, 2-stepours 37.3/0.27；DPM++ 98.8/0.20极低步数优势明显
LAION512, w=8, 4-stepours 26.0/0.30；DPM++ 34.1/0.294 步仍领先
LAION512, w=8, 8-stepours 26.9/0.30；DPM++ 25.6/0.32步数增加后优势消失
Inpainting, w=42-step FID 29.50 vs DDIM 109.35；4-step 24.90 vs 26.89低步区收益最大

论文汇总最高速度提升为 CIFAR-10 512×、ImageNet64 256×；这按可比 teacher 的 diffusion evaluations 计算，不能直接等同于所有硬件上的 wall-clock 加速。

关键消融

  • 区间 w 条件模型总体可匹配 single-w 模型，说明一套权重覆盖多 guidance strengths 可行。
  • 朴素双分支 progressive distillation 在少步区失败：CIFAR-10 1-step FID 超过 212；先蒸馏 CFG 组合是关键。
  • 1–4 步阶段训练更新显著增加，1-step 质量仍弱。
  • image-to-image 中噪声越强，文本对齐越高、输入保真越低，蒸馏未消除该权衡。

局限或疑问

  • 依赖预训练 teacher、数据与多轮蒸馏；只降低部署推理，不降低 teacher 训练成本。
  • LAION 定量只用 5,000 COCO captions；FID/CLIP 与视觉锐度并不总一致。
  • 编辑结果以质化为主；人评规模有限，作者明确承认回答噪声。
  • 到 8 步时 DPM++ 已可持平/反超部分指标，结论应限定在极低 NFE。

架构与 DiT 证据边界

  • 实际去噪器：U-Net。 Pixel-space 按 classifier-free guidance U-Net 配置；latent-space 按开源 Stable Diffusion U-Net 配置。
  • 没有 DiT 实验。 论文没有训练、蒸馏或比较 Transformer denoiser。
  • 因而它只支持“扩散系统具有成熟的 guidance/trajectory 蒸馏工程”，应归入 topics/diffusion-models 的通用工程背景；不能直接支持“DiT 已成为默认或主要可扩展主干”。

原始链接

  • arXiv 论文页
  • PDF
  • 本地全文：raw/ingest/2026-04-16-on-distillation-of-guided-diffusion-models/paper-text.md
  • 本地深分析：raw/ingest/2026-04-16-on-distillation-of-guided-diffusion-models/analysis.md

相关页面

Metadata
{
  "id": "2026-04-16-on-distillation-of-guided-diffusion-models",
  "type": "source",
  "title": "On Distillation of Guided Diffusion Models：把 CFG 与采样轨迹联合蒸馏到极少步",
  "status": "reviewed",
  "created": "2026-04-16",
  "updated": "2026-07-12",
  "venue": "CVPR 2023",
  "ingested_at": "2026-04-16",
  "tags": [
    "near-cvpr-2025",
    "image-generation",
    "diffusion",
    "efficiency",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Meng, Chenlin",
    "Rombach, Robin",
    "Gao, Ruiqi",
    "Kingma, Diederik P.",
    "Ermon, Stefano",
    "Ho, Jonathan",
    "Salimans, Tim"
  ],
  "published_at": "2022-10-06",
  "canonical_links": [
    "https://arxiv.org/abs/2210.03142",
    "https://arxiv.org/pdf/2210.03142.pdf"
  ],
  "raw_entry": "raw/ingest/2026-04-16-on-distillation-of-guided-diffusion-models/",
  "topics": [
    "topics/image-generation",
    "topics/diffusion-models"
  ],
  "entities": [],
  "claims": [],
  "questions": []
}