一句话结论
Custom Diffusion 只微调 SD v1.4 U-Net cross-attention 的 $W_k,W_v$ 与 modifier token，以约 6 分钟/2×A100、75MB 学会新概念，并支持多概念联合训练或约 2 秒闭式合并；它高效且证据完整，但相似类别、cat+dog 和三概念以上组合仍受 base SD attention 冲突限制。
问题定义
少量参考图 personalization 既要保持特定身份，也要在新 prompt 中泛化，并避免覆盖原类别语义。多概念还会出现遗漏、混合与遗忘；全模型 fine-tuning 又成本高、存储大。
方法概述
- 真实 backbone：Stable Diffusion v1.4 latent diffusion、卷积 U-Net；无 DiT。
- 每概念约 4 张图；只更新每层 cross-attention $W_k,W_v$ 与 $V^*$ token。
- 检索约 1,000 条相似真实图/描述做 regularization，减少 language drift。
- single 250 steps；two-concept joint 500；batch 8、lr $8\times10^{-5}$；0.4–1.4× resize augmentation。
- 多概念可联合训练；若单概念模型已存在，可解闭式约束最小改动问题合并 K/V。
成本、数据与结果
约 6 分钟/2×A100、75MB；full tune 20 分钟/4×A100、3GB；DreamBooth 约 1 小时/4×A100。闭式合并约 2 秒。未报单图 latency与显存。
| 设置/方法 | Text ↑ | Image ↑ | KID ↓ |
|---|---|---|---|
| single Textual Inversion | 0.670 | 0.827 | 22.27 |
| single DreamBooth | 0.781 | 0.776 | 32.53 |
| single Custom Diffusion | 0.795 | 0.775 | 20.96 |
| multi DreamBooth | 0.783 | 0.695 | -- |
| multi closed-form | 0.800 | 0.695 | -- |
| multi joint | 0.801 | 0.706 | -- |
10 个目标数据集；single 每数据集 20 prompts × 50 samples；multi 为 5 对概念、8 prompts、各 400 图。
人评与消融
MTurk 每份 questionnaire 800 responses。单概念相对 Textual Inversion 的文本/图像偏好 72.62%/51.62%；multi-joint 为 86.65%/81.89%；相对 DreamBooth/full tune 也均超过 50%。
- 去 augmentation：Image .775→.736。
- 去 real regularization：KID 20.96→32.64。
- 用生成图 regularization：KID 34.70，并出现饱和 artifact。
- SVD 保留 60% 累积奇异值可约 5× 压缩而近似保性能。
身份与组合边界
- CLIP image alignment 与人偏好是代理，不是严格身份指标。
- 相似 plushies、个人 cat+dog 仍会因 attention map 重叠而失败。
- 三概念有示例，但概念数继续增加被作者明确列为困难，无 scaling curve。
- Prompt-to-Prompt 编辑只是兼容应用，没有专门编辑 benchmark 或区域保持保证。
- DreamBooth 使用第三方实现，成本/质量比较有实现依赖。
相关页面
- 图像生成
- 扩散模型
- DreamBooth
- Concept Weaver：以本文单概念模型为 concept bank，再在采样期融合。
归属边界
本文是 parameter-efficient U-Net personalization 与多概念组合，不是 image editing、DiT 或统一生成—编辑。已移除旧 unified entity/question 与 image-editing 主标签。
证据评估
A-：成本、存储、自动指标、人评、消融与失败分析完整；复杂同类概念和三概念以上仍缺系统量化。