一句话结论
LayoutDiffusion 把对象类别+bounding boxes 与 image patches 映射到统一空间坐标，用 LFM 和 OaCA 将 layout 注入从头训练的 ADM-style pixel U-Net；它是 closed-vocabulary layout-to-image，不是同名 graphic-layout token diffusion、图像编辑或 DiT。
同名消歧
- 本文：输入 natural-scene object boxes/categories，输出像素图像；主干是 U-Net。
- LayoutDiffusion（graphic layout generation）：输入/输出 UI/文档 layout tokens，用 BERT-base 风格 Transformer reverse process，不生成图像。
两篇论文不可共享 backbone、数据、指标或任务结论。
方法与接口
- Layout 是对象集合 $\{(bbox,category)\}$，不含自由文本、属性、关系谓词或 reference image。
- LFM 用 6-layer Transformer encoder 在对象间 self-attention；它只是 condition encoder。
- 每个 U-Net image patch 获得归一化 box，与 layout object 处于同一坐标表示。
- OaCA 在 32/16/8 resolution 将对象 category/box 注入 U-Net feature。
- 训练为 1000-step pixel-space Gaussian diffusion noise MSE；CFG dropout 0.2，推理用 DPM-Solver 25 steps。
“统一”仅指 image patch/layout 的空间表示，不是统一 generation/editing architecture。
Backbone、数据与成本
| 维度 | 全文核验 |
|---|---|
| 去噪 backbone | ADM-style convolutional U-Net；无 DiT |
| Full / Small | 569M / 142M 参数 |
| 数据 | COCO-Stuff：25,210 train/3,097 val；VG：62,565/5,062/5,096 |
| 条件 | 训练 taxonomy 内 category IDs + boxes；COCO 不用 segmentation，VG 只用 boxes/categories |
| 训练 | 8×RTX 3090；COCO Full 1.15M steps、Small 1.4M；VG Full 1.45M |
| 等价成本 | COCO Full 216.55 V100-days；Small 75.83 V100-days |
| 推理吞吐 | Full 0.308 img/s；Small 0.608 img/s（25 solver steps） |
正文“32×3090”与补充 per-run 表“8×3090”口径不一致；source 采用具体模型表，并保留该疑点。
主结果
256×256：
| 数据 | 方法 | FID↓ | DS↑ | CAS↑ | YOLO↑ |
|---|---|---|---|---|---|
| COCO | LostGAN-v2 | 31.18 | 0.56 | 40.00 | 17.50 |
| COCO | PLGAN | 29.10 | 0.52 | 37.65 | 14.40 |
| COCO | LayoutDiffusion | 15.61 | 0.57 | 47.74 | 32.00 |
| VG | LostGAN-v2 | 32.08 | 0.53 | 34.48 | -- |
| VG | LayoutDiffusion | 15.63 | 0.59 | 48.90 | -- |
COCO 评测 3,097 layouts×5 images；VG 5,096×1。自动 evaluator 强调可检测/可分类对象，没有人评、open-vocabulary 或 relation consistency 测试。
消融与 trade-off
COCO 128、300K：无 LFM/OaCA 时 FID 29.94、CAS 3.83、YOLO 0；完整 LFM+OaCA 为 16.57/43.60/27.00。普通 cross-attention 的 FID 16.46 略优于 OaCA，但控制指标较弱（CAS 42.47、YOLO 23.60）。DS 从无控制的 0.70 降至完整模型 0.47，显示更严格 layout adherence 会压缩同-layout 多样性。
任务边界与局限
- 仅控制 category/box；不控制文本属性、身份、style、像素形状或任意 region prompt。
- 修改 layout 后从噪声重采样，不保持未改区域，不能称 image editing。
- 目标域从头训练，依赖 bbox labels；不是 pretrained T2I adapter。
- 词表封闭，对密集/域外 layout 的泛化未测。
- Full 25-step 模型仍需 216.55 V100-days，且吞吐低于 Small/LDM-8；少步不等于低总成本。
- 训练图像沿用 COCO/VG 许可与偏差，论文没有开放新数据集。
相关页面
- 图像生成
- 扩散模型
- GLIGEN — 同为 spatial grounding，但 GLIGEN 基于预训练 T2I 并支持更开放的 grounding token。
- LayoutDiffusion（graphic layout generation） — 同名但不同任务。
备注
本库将本文定位为 closed-vocabulary layout-to-image pixel diffusion，已清理 vision-language/unified image model/DiT 误关联。