LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-09-11

Guidance MattersRethinking the Evaluation Pitfall for Text-to-Image Generation

Read the paper

#near-cvpr-2025#image-generation#evaluation#diffusion#primary-source

English translation pending — this page shows the Chinese original.

一句话结论

生成方法相对固定无分类器引导（classifier-free guidance, CFG）的高偏好分，可能主要来自隐式提高引导强度；加入有效CFG基线后许多优势收缩，但这不等于所有方法无效，也不等于已证明人类更喜欢校准基线。[2]

问题定义

HPSv2、ImageReward等代理可能奖励更强文本对齐与过饱和，而不惩罚相应视觉退化。若候选方法实际增强了CFG，却只对比原始固定CFG，就可能将强度变化误认为新机制收益。图3同时显示AES与PickScore在该曲线中的例外，偏置不是所有指标、所有配置的统一规律。[2]

方法概述

引导感知评测（guidance-aware evaluation, GA-Eval）将每步候选更新投影到条件—无条件噪声差方向，估算有效引导强度，沿时间平均后重跑有效CFG（e-CFG），比较各代理指标的成对胜率。TDG通过随机遮掉一半prompt token增加弱条件分支，以HPSv2选参数，用作“优化指标未必改进质量”的构造反例。[2]

复现时不能只看公式：官方补充脚本还按方法的nfe_ratio延长e-CFG步数，现行仓库也明确说明NFE匹配。因此应把“强度匹配”和“强度＋计算预算匹配”分开报告；不能把所有差异都归因于一个CFG标量。详见独立全文审计。[3]

关键发现

官方定位论文报告结果结论边界
表1，SDXL/HPDTDG平均胜率56%→48%；Z-Sampling70%→62%五种自动指标平均，不是人类票数；Z-Sampling仍有剩余优势
表2，GenEvalTDG58.29% vs e-CFG57.23%；FreeU54.22% vs58.47%校准后有胜有负，不支持“全部方法无效”
表3，SD3.5/Pick-a-PicZ-Sampling平均42%→47%反驳把摘要“all methods”理解为所有配置均下降
表8，COCO-30KCFG FID13.56、Z-Sampling17.32、对应e-CFG14.21偏好代理与分布距离有不同取舍
表12，OneIG-Bench引导5.5→10，Alignment .5638→.5936，Diversity .4399→.4043提升条件对齐不能代表全面质量提升

上述均为官方论文表格结果，本轮没有复现实验。[2]

实验涵盖SDXL、SD2.1、SD3.5及DiT-XL/2；使用Pick-a-Pic前100条、DrawBench200条、HPD3200条和GenEval553条提示，另有COCO/ImageNet实验。附录B使用RTX4090 24GB，SD3.5为NF4量化；没有完整的墙钟、搜索与校准总成本账本。[2]

局限或疑问

  • 缺独立人评：论文未报告新的盲评队列、标注一致性或人工胜率区间；自动指标下降不能直接翻译为人类偏好下降。[2]
  • 表5证据异常：PDF第21页的Pick-a-Pic与HPD整块数值相同，已目视核对。原因待核验，不能当成跨数据集独立复现，也不能由此推断造假。[2]
  • 校准不是完美因果控制：范数比丢失投影符号，时间平均抹去引导日程；代码还有NFE匹配和SD2.1 FreeU特殊乘数。强度、步数、scheduler和特殊分支应独立消融。
  • 摘要与附录有张力：主文TDG是反例，附录仍称扩大搜索空间可加速收敛；没有充分证据把后者提升为真实质量结论。[2]
  • 数据与统计：多方法共享prompt，20源图的饱和度派生例不能增加独立样本量；训练重叠、网格搜索与测试隔离未充分审计。只支持所测图像配置，不外推视频或新奖励模型。[2]

原始链接

相关页面

备注

全文与官方补充包已保存；保留表5重复、代理人评边界及公式/代码差异。研究阶段不升级，未新建普适失败Claim；现有Topic足以承载条件性判断。

Sources

[1] https://proceedings.iclr.cc/paper_files/paper/2026/hash/559a0998fab1d19b80e7e43a5852401c-Abstract-Conference.html

[2] https://proceedings.iclr.cc/paper_files/paper/2026/file/559a0998fab1d19b80e7e43a5852401c-Paper-Conference.pdf

[3] https://github.com/Maxwells-Demons/Guidance-Matters

[4] https://arxiv.org/abs/2602.22570

Page previews1

page-21
Metadata
{
  "id": "2026-09-11-guidance-matters",
  "type": "source",
  "title": "Guidance Matters：引导强度如何扭曲图像生成评测",
  "title_en": "Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation",
  "status": "reviewed",
  "note_status": "reviewed",
  "source_type": "paper",
  "venue": "ICLR 2026",
  "created": "2026-09-11",
  "updated": "2026-09-11",
  "authors": [
    "Dian Xie",
    "Shitong Shao",
    "Lichen Bai",
    "Zikai Zhou",
    "Bojun Cheng",
    "Shuo Yang",
    "Jun Wu",
    "Zeke Xie"
  ],
  "published_at": "2026-04-20",
  "ingested_at": "2026-09-11",
  "canonical_links": [
    "https://proceedings.iclr.cc/paper_files/paper/2026/hash/559a0998fab1d19b80e7e43a5852401c-Abstract-Conference.html",
    "https://proceedings.iclr.cc/paper_files/paper/2026/file/559a0998fab1d19b80e7e43a5852401c-Paper-Conference.pdf",
    "https://github.com/Maxwells-Demons/Guidance-Matters"
  ],
  "raw_entry": "raw/ingest/2026-09-11-guidance-matters/",
  "analysis_note": "raw/ingest/2026-09-11-guidance-matters/analysis",
  "topics": [
    "topics/generative-model-evaluation",
    "topics/image-generation"
  ],
  "entities": [],
  "claims": [],
  "questions": [],
  "tags": [
    "near-cvpr-2025",
    "image-generation",
    "evaluation",
    "diffusion",
    "primary-source"
  ]
}