Image Generation

English translation pending — this page shows the Chinese original.

三分钟摘要

• 任务已经从“给文字出图”扩展为系统问题。 现代图像生成同时受表示空间、去噪主干、条件接口、训练数据、推理预算和评测协议约束。
• 成熟底座不等于完整答案。 LDM 与 DiT 已把潜空间和可扩展主干做成平台，但精确布局、多个条件冲突、文字与细节、数据许可、真实延迟和可靠人评仍未被一个指标解决。
• 统一生成—编辑正在形成，但证据多为系统覆盖而非严格胜出。 OmniGen、DreamOmni 与 UniReal 说明共享接口和联合训练可行；它们没有完成同数据、同参数、同算力下对全部专用模型的受控替代实验。
• 适合研究生的机会更偏“可证伪的系统问题”。 例如组合控制失效、同预算质量—延迟比较、中文或专业领域数据、统一与模块化的受控比较，而不是只换一个更大的主干。

先懂这几个词

指标怎么读

任务或系统流程

阅读论文时先标注每项工作改的是哪一环。只报告生成主干 FID 的论文，不能自动支持控制、数据合规或端到端延迟结论。

当前综合判断

1. 生成底座已经成熟，竞争转向整个系统

为什么重要：再证明“扩散能生成图像”或“Transformer 能去噪”价值已经很低，新手应把注意力放在系统层面的问题上。

2. 真正还在变化的是四个“接口”

为什么重要：这四个接口是判断一篇新论文改了什么的坐标轴。

怎么读：统一模型是重要平台路线，模块化条件器仍有明确价值；少步模型在特定配置下已能做到亚秒级，但训练成本、质量退化和适用范围要单独核算。

3. 多条件统一接口：能组合使用，但冲突时容易出错

为什么重要：同时给文字、布局、参考图时，信息更丰富的结构或图像条件常会“压过”文字，这是需要单独验收的控制失败。

• Composer 用八种条件和一个统一 U-Net 证明组合使用可行。
• 但不同训练策略下，总体偏好和逐任务偏好不一致。
• 附录尝试过“只用单/双条件训练、再处理更多条件”，但没有严格的留出清单，所以不能当作严格的组合泛化证明。

4. 一步出图的 GAN 仍是值得保留的对照

为什么重要：扩散模型并非在所有方面都胜出。比较时要看同任务、同质量和完整成本，单一 FID 或“单步”不能决定胜负。

怎么读：GigaGAN 更快、FID 略好。注意：Imagen（7.27）等模型的 FID 更低；作者也承认 GigaGAN 的真实感和组合能力不如 DALL·E 2，而且没有系统人评。

5. 引导方法的“提升”要先和调好的基线比

为什么重要：很多新引导方法的提升，其实来自隐式加大了引导强度。

条件：SDXL、HPD 提示集，五种自动指标平均。来源：Guidance Matters。怎么读：把基线的 CFG 调好后，TDG 的优势消失，Z-Sampling 仍有优势。注意：这是自动指标的平均，不是人类投票；比较时还要同时匹配引导强度和步数。

近五年演化（2022—2026）

这条演化不等于旧方法被线性淘汰。DreamBooth 显示高保真个性化仍可能需要逐主体适配；DiffuSSM 则构成“注意力是唯一可扩展主干”的反证。平台越统一，越需要说明哪些能力来自共享先验、哪些仍来自专用数据与模块。

方法家族与成熟阶段

方法家族的成熟度

哪些方向拥挤，哪些方向仍值得做

成熟度描述的是“证据与基础设施到了哪里”，不是给方向贴好坏标签。底座成熟后，研究需要更窄、更可证伪的问题定义。

拥挤方向与研究机会

相对拥挤、需要更强差异化的方向：

• 只在通用文本到图像上替换主干，并只报告单个 FID/CLIP 指标；
• 只把采样步数从若干步减到更少，却不报告单步成本、训练预算、CFG 与端到端延迟；
• 新增一个条件注入模块，但没有冲突条件、跨域或强基线消融；
• 用若干漂亮样例宣称统一模型已替代专用系统。

仍有清晰研究价值的方向：

• 可靠组合控制：关系、计数、文字、多个主体与空间条件同时出现时，定位失败发生在编码、路由、去噪还是评测层；
• 同预算生成系统比较：固定数据、参数/训练算力、分辨率、NFE 与硬件，比较 U-Net、DiT、SSM、蒸馏和求解器；
• 中文与专业领域生成：建立许可清楚、术语准确、含困难负例的数据和人评协议，而不只是翻译英文 prompt；
• 统一—模块化边界：量化联合训练的迁移收益与任务干扰，寻找“共享底座 + 专用轻模块”的最小系统；
• 评测可靠性：自动指标、人评、数据重叠、记忆和安全失败共同进入版本化评测。

先看结论

四个研究入口怎么选

对“能否作为研究生方向”的修订结论

图像生成可以作为研究生方向，前提是研究系统问题。建议顺序 A → B → C → D：A 最容易形成“数据集 + 诊断指标 + 方法”的连续成果，B 最容易复现，C 需要真实领域资源，D 的训练预算和因果控制风险最高。

反方证据、局限与可证伪条件

• 速度与指标可能共同遮蔽失败。 GigaGAN正式主表有低延迟与较低FID，作者失败案例仍有组合/几何缺陷；扩展版超分的感知指标与PSNR/SSIM也反向。4783 A100 GPU-days的训练账本不能被0.13s推理覆盖。若同质量点下优势消失，只能保留特定配置的低延迟结论。
• 先固定评测输入完整性，再比较分数。 GigaGAN公开loader的合成审计发现位置zip可静默截断/错配，CLIP样本上限不约束FID目录。它提示复现应断言图片—caption一一对应和统一分母，并非证明作者真实数据包或原榜单已经错误。正式PDF、作者扩展版、评测代码的表号、encoder与resize需分开登记。
• 反方 1：主干并未收敛为唯一答案。 DiffuSSM 在受限设置中以更低训练计算接近 DiT；若后续同预算跨任务结果持续成立，“标准注意力 DiT 是唯一可扩展主干”应被否定。
• 反方 2：统一覆盖不等于全面优越。 DreamBooth、GLIGEN 与 ControlNet 都显示专用适配仍能提供统一文本接口缺失的能力。若同数据、同规模评测中统一模型在多个关键任务持续落后，强“统一替代”结论应撤回。
• 反方 3：少步不自动等于低成本。 SANA-Sprint 的推理很快，但依赖大规模蒸馏训练；若完整生命周期成本或质量—多样性下降抵消收益，就只能称部署优化而非全面效率胜出。
• 反方 4：单一自动指标可能反向排序。 可验证人评 发现 FID/CLIPScore 与人类判断可能冲突。任何“全面更好”结论都应至少覆盖质量、条件遵循、多样性和成本。
• 共同局限：训练数据许可、记忆、偏差、深度伪造、文字/手部/细几何失败及模型更新后的不可复现性，不能由更低 FID 自动消除。
• 条件数不等于控制可靠性。 Composer的COCO FID9.2只测caption-only质量；文本被结构压制、上色改变背景、style/semantics纠缠均有正式附录反例。必须以逐条件遵循和冲突优先级补充总分，且README的代码/权重TODO不能当作可复现模型。
• 反证本身也要审计。 Guidance Matters没有新的独立盲评；表5两个数据集整块重复，SD3.5部分配置又出现校准后胜率上升。可采纳的是更严格的基线/预算协议，不是“所有引导方法无效”的全称结论。

研究生可行的研究入口

推荐排序与止损条件

优先级建议为 A → B → C → D。A 最容易形成“数据集 + 诊断指标 + 方法”连续成果；B 最可复现；C 需要真实领域资源；D 的训练预算与因果控制风险最高。任何入口都先用小规模数据证明测量可靠，再扩大模型或训练量。

证据基础

• 前馈反例、感知—保真取舍与版本/输入审计：GigaGAN:Scaling Up GANs for Text-to-Image Synthesis。
• 统一条件、组合暴露与任务取舍：Composer:Creative and Controllable Image Synthesis with Composable Conditions。
• 引导校准与指标捷径：Guidance Matters:Rethinking the Evaluation Pitfall for Text-to-Image Generation。
• 底座与主干：Latent Diffusion Models：高分辨率图像合成的潜空间扩散框架、Scalable Diffusion Models with Transformers：DiT 把 Transformer 真正坐实为可扩展扩散主干、Diffusion Models Without Attention：不用注意力也能做高分辨率扩散。
• 个性化与控制：DreamBooth：以少样本全模型微调实现主体驱动生成、GLIGEN：以冻结基础模型和门控适配器实现开放集合 grounded 生成、Adding Conditional Control to Text-to-Image Diffusion Models：冻结 U-Net 主干的空间条件侧支、AnyDoor：训练一次的零样本对象级图像定制。
• 统一生成—编辑：OmniGen：统一图像生成、DreamOmni：统一图像生成与编辑、UniReal：通过学习真实世界动态实现通用图像生成与编辑、AnyEdit：面向任意创意的统一高质量图像编辑。
• 效率：SANA-Sprint：连续时间一致性与对抗蒸馏的一步线性 DiT、On Distillation of Guided Diffusion Models：把 CFG 与采样轨迹联合蒸馏到极少步。
• 个性化、训练目标与表示效率补充：Attention Calibration for Disentangled Text-to-Image Personalization：解耦式个性化注意力校准、CONFORM：以对比式注意力优化提升文本生成忠实度、Domain Expansion of Image Generators：图像生成器的领域扩展、Specialist Diffusion：少样本艺术风格扩散微调工具箱、Wavelet Diffusion Models：在小波空间压缩少步扩散 GAN。
• 数据与评测：CommonCanvas：Creative Commons 数据上的开放 T2I 扩散训练、文本到图像生成的可验证与可复现人工评测、FlashEval：用代表性 prompt 子集加速文本到图像模型评测。

开放问题

• 数据与架构怎样共同决定生成—编辑上限？
• 统一图像模型能否在长期维持优势？
• 如何在不依赖闭源评估器的情况下，稳定测量关系、计数、文字与局部控制？
• 少步模型的训练生命周期成本怎样与部署收益统一核算？
• 训练数据来源、删除请求与模型记忆怎样进入公开 benchmark？

相关页面

• 视觉生成模型基础
• 扩散模型
• 图像编辑
• 扩散效率工程
• 生成模型评测
• 扩散 Transformer
• 统一图像生成与编辑