Latent Diffusion Models：潜空间扩散与通用条件接口
会议：CVPR 2022
arXiv：2112.10752
全文深读：analysis.md
一句话结论
LDM 将扩散从 RGB 像素空间迁移到轻度压缩的二维 latent，并用 U-Net cross-attention 统一接入文本、语义图和图像条件。固定预算实验显示 $f=4$–8 是效率与重建质量的 sweet spot；inpainting 中 latent diffusion 相对 pixel diffusion 至少提速 2.7×。本文主干是 convolutional U-Net，属于 DiT 的历史前置平台证据。
系统方法
- Autoencoder 以 perceptual + patch adversarial loss 学习轻度压缩表示；
- 比较 KL 与 VQ regularization，以及 $f\in\{1,2,4,8,16,32\}$ 的空间压缩率；
- time-conditioned U-Net 在 latent 中预测噪声；
- domain encoder 将文本、semantic maps 等条件编码成 tokens；
- U-Net feature 作 query、条件 token 作 key/value，形成通用 cross-attention 接口；
- 最终 latent 通过一次 decoder pass 恢复图像。
压缩率与效率锚点
- $f=1,2$ 计算密集、训练慢；$f=32$ 的重建 bottleneck 限制上限；$f=4$–8 最平衡。
- ImageNet 同一 A100、同参数量、同训练步数下，2M steps 后 pixel LDM-1 与 LDM-8 的 FID 差距约 38。
- DIV2K 512² 重建示例：本文 $f=4$ autoencoder PSNR 27.4、R-FID 0.58。
- Inpainting protocol：LDM-1 train/sample@256/sample@512 为 0.11/0.26/0.07 samples/s；LDM-4 VQ 为 0.33/0.97/0.34，epoch 时间 20.66→7.04 小时，FID@epoch6 为 24.74→14.99。
论文的 2.7× 以上提速来自相同协议下的训练和采样 throughput。系统总成本仍包含 autoencoder 训练、encoding 和 decoding。
核心结果
生成与条件合成
| 任务 | 配置 | 结果 |
|---|---|---|
| CelebA-HQ 256² | LDM-4 | FID 5.11 |
| FFHQ 256² | LDM-4 | FID 4.98 |
| LSUN Bedrooms | LDM-4 | FID 2.95；ADM 为 1.90 |
| COCO text-to-image | LDM-KL-8-G | FID 12.63、IS 30.29±0.42、1.45B params |
| ImageNet class conditional | LDM-4-G | FID 3.60、IS 247.67±5.59、400M params |
| ImageNet ×4 SR | LDM-4 100 steps | FID 2.8/4.8、169M params、4.62 samples/s |
COCO 对照 GLIDE/Make-A-Scene 的 FID 为 12.24/11.84；LDM 参数更少，FID 略低于两者。ImageNet 上 LDM-4-G 的 recall 0.48 低于 ADM-G 0.52，说明 classifier-free guidance 提升 fidelity 时牺牲部分 coverage。
Inpainting
Places 512²、40–50% hard masks：large fine-tuned LDM FID 9.39、LPIPS 0.246；LaMa recomputed 为 12.31/0.243。LDM 在 FID 领先，LPIPS 略弱。
关键消融
- Compression-factor sweep 是最直接的系统消融，支持 $f=4$–8 sweet spot。
- VQ 重建略弱，但 diffusion sample quality 有时优于 KL，说明 reconstruction metric 与 prior quality 并非一一对应。
- Inpainting autoencoder 移除 attention 后 throughput 略升，FID 14.99→15.95。
- CFG 将 COCO FID 23.31→12.63，同时增加 sampling cost 并改变 precision/recall。
局限与证据边界
- 顺序采样仍慢于 GAN；主结果常使用 200–250 DDIM steps。
- Autoencoder 会限制 fine-grained pixel accuracy，super-resolution 和精确编辑尤其敏感。
- 256² 训练向 512² 泛化时可能出现 attention feature-statistics mismatch，需要额外微调。
- LAION-400M caption 噪声、数据授权、隐私、记忆和偏差风险没有系统解决。
- 更低生成成本会降低 deepfake、spam 和操纵内容的门槛。
对当前 Wiki 判断的影响
Diffusion 工程
本文增加“表示空间压缩”这一层：效率报告应同时覆盖 autoencoder reconstruction ceiling、latent prior quality、训练 throughput 和端到端 sampling cost。
DiT claim
论文使用 convolutional U-Net。它直接支持 latent diffusion 成为可扩展生成平台，也解释后续 DiT 为何在 latent 中运行；它不支持 claims/claim-dit-is-becoming-the-default-scalable-generation-backbone 的采用率或 backbone superiority，原 frontmatter 的 DiT entity/claim 关系已撤销。
数据与架构问题
对 questions/question-data-vs-architecture-in-image-editing，LDM 证明表示空间与条件接口能够改变效率和任务复用边界；LAION-400M 与任务数据又决定概念覆盖。证据支持“数据与系统结构共同决定能力”。
证据评级
- 潜空间扩散与条件接口：A
- 高分辨率效率：A-
- DiT adoption：不应引用
- 统一生成/编辑：B- 背景证据
原始材料
raw/ingest/2026-04-14-latent-diffusion-models/paper.pdf（45 页）raw/ingest/2026-04-14-latent-diffusion-models/paper-text.md（1667 行）raw/ingest/2026-04-14-latent-diffusion-models/analysis.md