Generative Model Evaluation

English translation pending — this page shows the Chinese original.

三分钟摘要

• 它研究什么：不是简单给模型排榜，而是验证“指标是否真的测到了论文声称的能力”。
• 当前共识：生成质量、条件一致性、运动、时序一致性、编辑保持性和真实用户偏好不能被一个分数完整概括。
• 主要风险：分布指标可能忽略指令语义，语义指标可能忽略视觉质量，大模型评审器（LLM/VLM judge）又会引入版本、提示和模型家族偏差。
• 研究机会：任务专用协议、可验证人工评测、低成本但不改变模型排序的采样，以及能定位失败原因的诊断集。

评测是整个研究链的测量仪器。如果测量对象、输入预算和统计协议没有先定义清楚，模型分数再精确也无法支持可靠结论。

先懂这几个词

指标怎么读

任务或系统流程

当前综合判断

1. 没有一个分数能通用于所有任务

为什么重要：新手最常见的误区是看到某个指标变好，就以为模型全面变好。不同指标测的东西不同。

• 视频还多了运动幅度、时间一致性和镜头合理性。VideoCrafter2 的结果说明外观强不等于运动和时序同样强。
• 特征空间本身也是变量。DGM-Eval 在 4 个图像数据集、41 个模型配置上发现：用 DINOv2 特征算的距离比传统 Inception 更接近人评的逼真度。但这还没证明对新模型、文字服从或视频也成立。
• 引导强度会同时抬高对齐分、降低多样性。“新方法”的优势可能只是隐式加大了引导，详见图像生成页的判断 5，来源 Guidance Matters。

2. 评测要和任务的“该改什么、该保持什么”对齐

为什么重要：文生图、局部修补、指令编辑和视频编辑的“成功”定义不同，混用会漏掉关键失败。

• EditBench 把对象、属性、绑定关系和画质分开打分。
• FiVE-Bench 要求视频编辑同时满足：完成指令、未编辑区域保持、时间稳定。
• 只比较最终帧和文字的语义相似度，会漏掉身份漂移、背景破坏和画面闪烁。

3. 大模型评审器需要校准，不能直接当裁判

为什么重要：越来越多论文用 GPT-4o 等模型自动打分。评审器的版本、提示词、输入帧数和被评模型家族都会改变结果。

• AIGV-Assessor、Video-Bench 说明视觉语言模型能汇总复杂的感知维度。
• 可靠的做法是公开评审提示、版本、重复次数，以及与独立人评的逐样本相关性。

编辑任务里的漏检证据（来源：EditInspector）：

怎么读：GPT-4o 能说出主要改动，但会漏掉大部分细节差异。注意：论文把第二列叫 “Precision”，实际分母是人工差异，更接近召回率，读指标要看公式而非名字。

4. 输入预算和数据污染本身就是评测结论的一部分

为什么重要：抽多少帧、给不给字幕、视频多长、答案能否靠语言猜出，决定了分数测的是视频能力还是捷径。

三者不能互相替代。

5. 好的评测应能定位失败原因，而不只是扩大题量

为什么重要：平均分告诉你“差多少”，诊断集告诉你“为什么差”，后者对改进模型更有用。

注意：检测“模型是否记住了训练图”时，要加入“没有复制、只是多样性变窄”的负对照。DGM-Eval 发现，有的记忆指标在这种情况下也会误报。找不到像素级的近似复制，也不能排除局部复制。

近五年演化（2022—2026）

这条演化不是旧指标被完全淘汰。FID、CLIPScore 等仍适合规模化筛选，但它们应成为证据组合的一部分，而不是论文结论的唯一支柱。

方法家族与成熟阶段

方法家族的成熟度

拥挤方向与研究机会

• 相对拥挤：把多个旧指标线性相加、只在少量模型上报告相关性、只扩大题量却不检查捷径。
• 仍有价值：编辑保持性与局部证据、长视频输入预算、真实工作流成功率、评审器跨版本稳定性。
• 高价值交界：研究“低成本评测是否保持模型排序”时，同时测总体排名、长尾失败和不同模型家族，避免只优化平均相关性。
• 可形成资产的方向：公开提示、样本、评审说明、原始评分、置信区间和失败标签；一个透明的小 benchmark 往往比一个不可审计的大分数更有长期价值。

先看结论

三个研究入口怎么选

对“能否作为研究生方向”的修订结论

生成模型评测可以作为研究生方向，而且算力需求低。首选 A，任务定义具体，能直接连接图像/视频编辑研究；一个透明、可审计的小评测，往往比不可复核的大分数更有长期价值。

反方证据、局限与可证伪条件

最强反方意见是：benchmark 很容易快速过时，模型可能针对公开测试集调优，而新指标也可能只是换一种偏好。因此“与人评相关”不能单独证明指标有效。

投票一致率高，不等于标注可靠。 以 EditInspector 为例：

• 视觉一致性和技术质量两项的 κ 只有 0.01–0.20，说明标注定义本身需要修订。
• 一项外部实验的 120 个测试例，实际来自 30 条原始编辑，独立证据比数字看起来少。
• 多尺度方法 75% 的主差异准确率和裸模型的 39%，输入和调用次数不同，不能直接比；组合上限 86.8% 只是理论值。

人评数量大，不等于独立样本多。 以 DGM-Eval 为例：

• 1036 名参与者给出了 207200 条响应，但每个数据集只比较了 8–13 个模型配置，模型级相关性仍然基于很少的点。
• 同一批真实图像跨模型复用，一张图会被多人重复判断。论文已做方差分析和多重比较校正，还缺新模型留出验证。
• 其稀有性分析和一项记忆指标存在版本口径冲突，复现时必须固定原始清单。

一项评测研究至少应满足：

1. 在未参与指标设计的模型家族和提示分布上复测；
2. 同时报告模型级与样本级一致性，避免少数模型点造成虚高相关；
3. 公开输入预算、评审器版本、提示模板和随机性；
4. 加入简单启发式、文本先验或静态帧基线，确认任务确实需要目标能力；
5. 预先规定失败条件：若新协议不能稳定区分已知能力差异，或排序对样本轻微变化高度敏感，应收窄结论；
6. 对引导/采样改进分开控制强度与NFE。Guidance Matters官方补充脚本不仅改变有效CFG，还按方法增加基线步数；未拆开两轴就不能把收益变化全部归因于强度。其表5的Pick-a-Pic与HPD整块重复已在PDF中核对，且未报告新的独立盲评，故不能将GA-Eval等同人类真值或把重复表当跨数据集证实。

研究生可行的研究入口

推荐排序与止损条件

• 首选 A，任务定义具体、算力低且能直接连接图像/视频编辑研究。
• 偏测量科学与多模态模型时选 B；偏系统和统计时选 C。
• 不建议把“提出一个总分”当作首个课题，除非已有大规模、独立且可复核的人类判断。
• C 的补充实验：可先在静态图像上做负对照。冻结生成样本，比较 Inception 与 DINOv2 特征下模型级和图像级的人评关系，并设“类内收缩”“已知复制”“独立真样本”三组。依据 DGM-Eval，更小的编码器能省特征计算，但这不等于端到端成本降低。

证据基础

• 表征偏差与记忆混杂：Exposing flaws of generative model evaluation metrics and their unfair treatment of diffusion models，包含53页正式文本、人评独立单位、类内/全局多样性、负对照与版本冲突审计。

• 引导强度与代理优化反证：Guidance Matters:Rethinking the Evaluation Pitfall for Text-to-Image Generation，包含有效CFG、NFE匹配、剩余优势与官方表格重复审计。
• 编辑评审器的直接反证：EditInspector:A Benchmark for Evaluation of Text-Guided Image Edits，包含漏检、幻觉、人工κ、分母与来源独立性审计。
• 通用图像指标：Inception Score、FID、CLIPScore。
• 图像生成与编辑：EditBench、FlashEval、可验证人工评测。
• 视频生成与编辑：EvalCrafter、VBench、VideoCrafter2、Video-Bench、AIGV-Assessor、FiVE-Bench、VEU-Bench。
• 视频理解压力测试：MVBench、LVBench、STI-Bench、SOK-Bench、ANetQA。
• 失败与组合性诊断：HallusionBench、GlitchBench、神经符号视频评测、MMMU、MAPLM、ConCon-Chi。

开放问题

• 现有 benchmark 是否追踪真实视频编辑理解
• 模型评审器如何在版本更新后保持纵向可比？
• 怎样在低成本评测中保留少数但高风险的失败？
• 用户工作流成功率与离线感知指标之间能否建立稳定关系？

相关页面

• 数据集、指标与 Benchmark 可靠性
• 图像生成
• 图像编辑
• 视频生成
• 视频编辑
• 视频理解
• 视觉语言