一句话结论
Concept Weaver 先用 SDXL/真实图确定多对象构图，再反演 template、自动分割区域，并在每层每步融合多个 SD2.1 单概念 U-Net 的 cross-attention feature；它在 3–4 概念组合上优于 Mix-of-show，但每概念仍需预训练、推理约 60 秒/RTX3090，计算随概念分支增长。
问题定义
把多个已定制主体直接联合训练或合并权重，常导致同类对象身份混合、漏概念和复杂交互失败。本文把“构图”与“身份写入”拆开：template 负责结构，concept bank 负责外观。
方法概述
- 每概念以 3–8 张图做 Custom Diffusion（SD2.1，500 steps，只调 $W_k,W_v$ 与 token；也支持 LoRA）。
- SDXL 生成 template，或使用真实图。
- DDIM inversion 保存 PnP 的 ResNet/self-attention 结构 feature。
- Grounding DINO + SAM 自动生成概念 mask，并做膨胀/重叠处理。
- 每个单概念模型使用 concept-aware prompt，在 mask 内融合 cross-attention feature；注入 template 结构 feature，并以 concept-free branch 抑制泄漏。
无 DiT、flow matching 或单一 unified model。
数据、结果与人评
15 个 CustomConcept101 概念组成 5 组，每组超过 3 概念；每方法 200 图。
| 方法 | Text-sim ↑ | Image-sim ↑ |
|---|---|---|
| Custom Diffusion | 0.3595 | 0.7875 |
| Mix-of-show | 0.3634 | 0.7984 |
| Concept Weaver | 0.3804 | 0.8124 |
20 名用户、5 分量表：本文 Text/Concept/Realism 为 4.70/4.64/4.43，Mix-of-show 为 3.44/3.39/3.78。补充还有独立 12 用户调查，不应与主调查人数混算。
消融与成本
- mask-only 0.3140/0.7544；去 feature injection 0.3489/0.7739；score mix 0.3677/0.8023；去 concept-free suppression 0.3727/0.7936；full 0.3804/0.8124。
- template 约 10 秒；整条 pipeline 单 RTX3090 24GB 约 60 秒，768×768、50 steps。
- “tuning-free”仅指组合阶段；concept bank 仍需逐概念 fine-tuning。
身份与组合边界
- 自动 mask 失败/重叠过大时会拒绝并换 template；评测还过滤 CLIP<0.3 输出，因此未报告单次成功率。
- Image-sim 只对成功产生全部概念的结果计算，存在选择偏差。
- 极复杂/不现实 prompt、错误 template 与更多概念仍会失败；没有 N-concept scaling curve。
- 真实图替换是扩展，不构成通用编辑或区域外保持保证。
相关页面
- 图像生成
- 扩散模型
- Custom Diffusion：单概念 bank 与多概念合并基础。
- DreamBooth：全模型主体定制对照。
归属边界
本文是 template-guided multi-concept personalization composition，不是统一生成—编辑、DiT 或泛化 editing framework；已清除旧 unified entity/question 与 image-editing 主标签。
证据评估
B+：成本、指标、人评和消融完整；组合规模小、过滤评测和失败样本选择偏差限制结论。