一句话结论
FlashEval 不是新质量 metric，而是在已有 metric 下搜索少量 prompts，使子集模型排名复现全量排名；COCO 上 50-item searched subset 接近 500-item random，支持约 10× 重复评测加速，但一次性搜索需预计算模型 zoo 的大规模分数，且外推只在同源 Stable Diffusion configs 上验证。
评测接口与方法
- 输入 prompt 数据集、模型/config zoo、已有自动 metric 和目标子集大小；输出固定代表性 prompt subset。
- full-set metric 平均定义“ground truth”模型排序，子集质量用 Kendall’s Tau；另查 top-K ranking 和 top-K coverage。
- 每轮采大量 subsets，在 train models 上按 KD 选 top sets，再保留这些 sets 中高频 prompts，迭代缩小搜索空间。
- 该方法优化的是“复现 metric 排名”，不是使 metric 更符合人类，也不是生成模型本身。
数据、指标与模型 zoo
- COCO val2014：40,504 prompts；DiffusionDB：从 2M 中取 5,000。
- 78 个 Stable Diffusion configs：12 model variants 与多种 DDIM/PNDM/DPM schedules/steps；seed=0、guidance=7.5。
- 按 random / cross-variant / cross-scheduler 拆 train/test models。
- 五个 metrics：FID、CLIPScore、Aesthetic、ImageReward、HPS；无新 human study 或 LLM judge。
主要结果
COCO CLIPScore test KD：
| 子集 | Random | FlashEval（random / variants / schedulers） |
|---|---|---|
| 50 | 0.597 / 0.588 / 0.560 | 0.851 / 0.800 / 0.850 |
| 500 | 0.829 / 0.826 / 0.827 | 0.906 / 0.899 / 0.909 |
DiffusionDB 上 5-item FlashEval test KD 0.789/0.691/0.748，超过 100-item random 的 0.763/0.681/0.738。小集合结果强，但也最易过拟合特定 zoo/metric。
10-item COCO 消融的 train/test KD：random 0.355/0.142，去 frequency selection 0.876/0.640，去 iterative filtering 0.821/0.667，full 0.934/0.796；组件有效，同时 train-test gap 表明搜索拟合风险。
成本、污染与 judge 边界
- 论文动机：RTX 3090 上 SD v1.5 完整 COCO 约 60 GPU-hours；50 vs 500 prompts 的后续生成约节省 10×。
- 一次性搜索必须获得模型 zoo 在大量/全部 prompts 上的 metric scores，并比较最高 $10^7$ candidate subsets；未报告端到端 GPU/CPU-hours、存储和墙钟。
- held-out models 仍属高度同源 SD family；不能保证迁移到新 DiT、自回归或闭源模型。
- COCO/DiffusionDB 可能出现在模型训练中；公开 searched subset 也可能成为未来调参目标。
- full-set FID/CLIP/偏好模型只是代理真值；高 KD 可以忠实复现一个偏置 metric。固定单 seed 也不覆盖生成随机性。
能力边界
- 直接属于图像生成评测基础设施，不是视频理解。
- 思路可用于视频生成抽样，但视频运动、时序、长度和人评成本不同，本文没有验证。
- 没有 source image/video、edit instruction、局部保持或 before-after reasoning，不评真实编辑理解。
- “评得快”与“评得符合人类/任务目标”是两个正交问题。
证据评级
B+（实用且实验系统；但只加速代理 metric 排名，同质模型 zoo、预付成本与外部泛化证据不足）。