Open question
统一图像模型与专用或模块化流水线如何分工
This question remains open and needs new primary evidence.
问题
统一图像模型、专用系统与模块化流水线分别会在哪些任务和资源条件下占优？比较需要同时覆盖峰值性能、控制精度、推理延迟、系统复杂度、维护成本、任务覆盖和产品接口稳定性。
这个问题现在为什么值得单独盯住
topics/image-generation 和 topics/image-editing 已经显示出一个非常明显的张力：一边是统一接口、统一训练、世界动态建模不断推进；另一边是专用主干优化、强控制模态、模块组合系统也在持续反击。也就是说，统一路线已经不是口号，但专用路线和组合路线同样没有退出竞争。
当前证据在说什么
支持统一路线具有平台价值的证据
- sources/2026-04-12-omnigen 把“一个统一图像接口处理多任务”推得最明确，说明统一工作流本身具有很强吸引力。
- sources/2026-04-12-dreamomni 把统一路线建立在 synthetic data 与联合训练上，说明它不是只靠接口整合，而是在训练范式上也开始成型。
- sources/2026-04-12-unireal 进一步把统一路线推进到真实世界动态建模层，说明统一模型的外溢能力可能不止停在图像内。
- sources/2026-04-12-anyedit 说明统一路线也可以由高质量多任务数据工厂来支撑，而不仅是模型结构口号。
- sources/2026-04-14-pathways-image-manifold 采用 VLM、I2V 与 frame selection 的专用多模块流水线，说明跨任务借模可以通过模块组合实现，形成统一单模型路线的中性压力测试。
说明统一路线仍未封口的反向证据
- sources/2026-04-12-d2it 提醒我们，专门针对单一生成问题深挖的主干优化，在峰值表现上仍然非常有竞争力。
- sources/2026-04-14-sketchvideo 代表的是强控制接口路线：如果某种控制模态本身非常重要，专用系统可能比统一大模型更产品化。
- sources/2026-04-14-encapsulated-composition-t2i-t2v 直接给出另一种反例：不一定要做一个完全统一的大模型，模块组合系统也可能在质量、速度和工程复杂度之间拿到很强平衡。
- 早期锚点如 sources/2026-04-14-instructpix2pix、sources/2026-04-14-diffeditor、sources/2026-04-14-dreambooth 与 sources/2026-04-14-gligen 也说明，许多真实可用能力最初都是靠强专用接口长出来的，而不是一开始就统一。
2026-07-12 全文复核：更稳定的三层分工
这四篇把“统一 vs 专用”进一步拆成三个可共存层级：
- 统一基础模型：Stable Diffusion、LDM 或 Imagen 提供开放语义、画质和可迁移世界知识。
- 任务/主体适配层：GLIGEN 的 gated grounding layers、DreamBooth 的逐主体 checkpoint、InstructPix2Pix 的专用编辑 checkpoint，把基础能力绑定到空间控制、身份或编辑指令。
- 高精度工具层：DiffEditor 的 mask、点、参考图、inversion、regional guidance 和 iterative time travel，服务需要强局部控制的交互场景。
量化证据与这一路径一致：GLIGEN 在 FID 约 5.8 不变时通过接口设计把 YOLO AP 从 16.6 提升到 21.7；DreamBooth 用 3–5 张图和约 5 分钟逐主体训练换取 DINO 0.696；DiffEditor 在专用点拖拽协议上取得 17/68 点 MSE 17.05/11.52；InstructPix2Pix 用 45 万级合成监督获得单次前向自然语言编辑。
因此，当前更有证据支持的产品形态是“统一底座 + 可复用 adapters + 少量高精度工具”，其系统边界由控制要求、延迟、存储和维护成本共同决定。
FramePainter、InsViE-1M 与 QK-Edit 的全文复核继续支持这套分工：FramePainter 借 SVD prior 做单图交互编辑，却为 sketch/points/coarse 分别训练；InsViE-1M 依赖 102 万三元组、GPT+flow filtering 和 64×A100 训练；QK-Edit 的共享 Q/K 机制可跨 FLUX 与 HunyuanVideo，但仍是两个底座、两条 source/target trajectories，并依赖真实视频 inversion。跨任务复用正在增强，专用数据与控制层仍决定任务内峰值。
SLD 提供更明确的模块组合证据：DALL-E 3/LMD+ 的平均对象级准确率经 GPT-4 parser/controller、OWL-ViT、SAM 与 latent editing 闭环从 52.0/79.3 提升到 78.5/88.3。系统复用统一生成器，同时把计数、空间、删除和属性纠错交给外部专用模块；该结果支持模块化 orchestration 作为统一模型的长期竞争形态。
Tune-A-Video 提供历史上的 instance-adapter 对照：共享 Stable Diffusion/LDM U-Net，每个视频仍需约 10 分钟 attention tuning 与 DDIM inversion。它在 DAVIS 42 videos/140 prompts 上实现 92.40 frame-consistency CLIP 与 27.58 text CLIP，却无法处理多对象遮挡和复杂交互。统一基础模型可以复用开放概念，时序适配与 source-structure control 仍作为专用层存在。
Imagen Editor 同样体现三层分工：Imagen foundation 提供语言和画质先验，新 image/mask encoders 与专用微调形成 editor checkpoint，用户 mask 提供高精度控制。相同架构下 object-mask policy 获得 68% alignment preference，说明统一底座不会消除 task-specific data organization。
DIVE 又提供视频侧的专用 pipeline 对照：SD1.5 + DINO motion MLP + identity LoRA + inversion + mask blending，在小型自建集合上取得 65.6% 用户偏好，但每 source/identity 都需单独优化。它支持基础模型复用，同时强化 adapters 与高精度工具层的持续价值。
AnyDoor 与 IPL 进一步显示“zero-shot”仍可能依赖专用系统：AnyDoor 训练一次后可插入未见对象，但移动/交换和 pose transfer 还组合 SAM、inpainting、ControlNet；IPL 不需要目标域图像，却为每个目标域训练约 10–20 分钟的专用 generator。统一 foundation 提供先验，产品能力继续由任务数据和 adapters 落地。
为什么还没有被真正回答
因为“统一是否胜出”不是单一指标问题。统一模型可能在任务迁移、接口一致性和系统复用上更强，但专用系统可能在局部峰值、延迟、资源成本和控制稳定性上更占优；而模块组合系统又可能在工程实践中拿到更现实的折中。因此，如果没有同预算、同任务、同控制要求下的系统级对照，我们很难说统一路线已经完成压制。
阶段性综合判断
基于当前 vault 的证据，最稳的阶段性判断是：统一路线已经证明多任务覆盖、接口简化和部署复用价值；与专用或模块化系统的整体胜负仍未完成受控验证。
DreamOmni、OmniGen 与 UniReal 提供统一生成—编辑的直接证据；AnyEdit 补充统一多任务编辑的数据价值。D²iT、SketchVideo、Pathways 与 Encapsulated Composition 展示专用或模块组合路线的持续竞争力。未来系统很可能按任务覆盖、峰值质量、控制强度、延迟和维护成本形成分工。
当前更倾向的结论
- 统一模型已经成为有竞争力的平台候选。
- 专用系统在峰值质量、强控制和特定产品需求上具备持续价值。
- 模块组合系统是现实的工程竞争路线。
- 这条 question 继续保持
open，关键缺口是同数据、同规模、同预算的系统比较。
下一步最有价值的证据
- 统一模型、专用系统、模块组合系统在同任务同预算下的直接对照。
- 更细的系统级指标：延迟、显存、训练成本、接口复杂度、可维护性。
- 新一轮是否还会继续出现“跨任务借模”成功案例，还是重新回到单任务专用优化。
- 真实产品场景里，哪类需求最稳定地偏向统一系统，哪类需求又持续要求强专用控制。