一句话结论
BoxDiff 把 box/scribble 转成 Inner、Outer、Corner 三类 cross-attention 约束，无需更新权重即可显著提高位置/尺度遵循：Stable Diffusion 的 AP 从 2.8 升至 22.3；它是 spatial guidance 的直接证据，不是语义理解或闭环纠错证据。
论文定位
BoxDiff 是 test-time latent guidance。它使用 Stable Diffusion v1.4 的 16×16 token attention，不训练 condition branch；也能叠加到 GLIGEN。输入必须由用户给出目标 token 与框/scribble。
问题定义
监督式 layout-to-image 依赖 paired layout-image data 和固定类别。BoxDiff 试图直接利用预训练 T2I diffusion 的开放词汇先验，让简单空间条件在采样时生效。
方法概述
- Inner-Box：提高框内 top-$P$ attention。
- Outer-Box：压低框外 top-$P$ attention。
- Corner：匹配 x/y attention 投影与框边界，避免对象只占框内一小块。
- 总损失对当前 latent 求梯度；representative sampling 避免全像素强约束破坏语义/画质。
- scribble 可先转框，并增加 scribble 点 objectness constraint。
核心实验与结果
自建零样本 layout 集含 9 animals、18 objects、4,274 个框、189 个 prompts+boxes：
| 方法 | Layout data | T2I-Sim | AP | AP50 | AP75 |
|---|---|---|---|---|---|
| Stable Diffusion | None | 0.3511 | 2.8 | 9.2 | 1.1 |
| SD + BoxDiff | None | 0.3513 | 22.3 | 46.8 | 20.2 |
| GLIGEN | COCO-Stuff | 0.3489 | 29.7 | 45.8 | 33.9 |
| GLIGEN + BoxDiff | COCO-Stuff | 0.3511 | 40.2 | 62.0 | 46.2 |
BoxDiff 使 SD AP +19.5pp；叠加 GLIGEN 再 +10.5pp。最强绝对结果是 GLIGEN+BoxDiff，而不是纯 training-free SD+BoxDiff。
关键消融
- SD：0.3511 T2I-Sim / 2.8 AP。
- +Inner：0.3516 / 9.8。
- +Inner+Outer：0.3518 / 20.2。
- +Corner：0.3513 / 22.3。
- 全像素 sampling 达更高 AP 24.8，但 T2I-Sim 降至 0.3489；top-k 为 0.3513/22.3，是质量—定位折中。
- top-$P=80\%$ 为作者选择；100% 虽 AP 更高，T2I-Sim 更低。
局限或疑问
- 16×16 attention 限制定位精度。
- car+basin、giraffe flying、mountain underwater 等低共现/罕见空间条件会失真或不服从框。
- 数据收集与评估均依赖 YOLOv4，且只有 27 类，存在检测器偏差。
- AP 不等于写实性、关系正确或像素级 box adherence。
- compound noun 常只选 dominant token，tokenizer/语义拆分可能失败。
- training-free 仍需每步反向优化，论文未给主表时延。
对当前 Wiki 判断的影响
| 判断 | 证据分类 | 边界 |
|---|---|---|
| attention control | 强直接支持 | 约束与 sampling 有定量消融 |
| spatial guidance | 强直接支持 | box AP/AP50/AP75；类别和 detector 有限 |
| semantic completeness | 间接支持 | 任务目标是位置/尺度，不是语义覆盖 benchmark |
| closed-loop correction | 当前不应引用 | 无输出检测—规划循环 |
| 支持 DiT | 当前不应引用 | 只验证 SD/GLIGEN cross-attention |
| 支持“理解” | 压力测试 | 用户已给框；罕见关系仍失败 |