Open question
现有评测是否真的刻画了视频编辑理解能力
This question remains open and needs new primary evidence.
问题
当前视频编辑研究越来越强调模型是否“理解”编辑目标，但现有 benchmark 和评测器，是否真的能刻画这种理解能力，仍然没有定论。更具体地说，评测到底是在测视频看起来好不好、用户是否更喜欢、模型能否满足逻辑约束，还是模型能否真正理解并执行编辑指令，这几个层次目前仍然没有被稳定地接起来。
这个问题现在为什么更关键
topics/generative-model-evaluation 已经显示，视频评测本身正在迅速分化：有的路线强调感知质量，有的强调 human-aligned 偏好，有的强调形式化正确性，还有的直接针对细粒度视频编辑操作。问题不再是“社区有没有评测”，而是“这些评测到底分别在测什么，它们之间能不能构成真实能力的映射”。
当前证据在说什么
更接近“感知质量”
- sources/2026-04-14-aigv-assessor 说明在 AIGV / T2V 场景里，传统 VQA 或通用自动指标并不足够，LMM assessor 可能更接近人类对视频感知质量的判断。
- 这类证据告诉我们：至少“视频看起来是否舒服、自然、连贯”已经需要专门 evaluator，而不是顺手用旧指标替代。
更接近“人类偏好与可接受性”
- sources/2026-04-14-video-bench 把 human-aligned benchmark 单独建立起来，说明“人类是否更喜欢、更认可”已经是独立评测目标。
- 但 human preference 更强，并不自动等于模型更懂编辑任务；它可能更多反映最终结果是否顺眼、是否符合总体期待。
更接近“形式化满足性与逻辑正确性”
- sources/2026-04-14-neuro-symbolic-eval-t2v 提供的是另一种完全不同的 evaluator 逻辑：不是问结果是否好看，而是问生成视频是否满足显式逻辑约束与形式化条件。
- 这类路线对于“评测可信度”非常重要，因为它把评测从主观印象推进到可验证结构。
更接近“真实视频编辑任务理解”
- sources/2026-04-12-veu-bench 直接评测通用 Vid-LLM 对剪辑元素的识别、依据推理与功能判断，是这条 question 的理解坐标。
- sources/2026-04-14-five-bench 评测细粒度对象级编辑结果，提供执行成功率与失败类型坐标；它与剪辑语法理解互补。
与“结果质量 / 对齐质量”纠缠在一起的证据
- sources/2026-04-12-align-a-video 与 sources/2026-04-12-videodirector 更强调编辑质量、偏好对齐与控制精度，这些都很重要，但并不自动回答模型是否真正理解了编辑任务。
- sources/2026-04-14-evalcrafter 与 sources/2026-04-14-videocrafter2 也提醒我们，很多视频评测仍然停留在大视频生成质量层，而不是精确的视频编辑理解层。
2026-07-12 的全文复核进一步给出可操作边界：EvalCrafter 的 17 指标能发现视觉、对齐、运动与时间一致性的 trade-off，但没有源视频与 preserve/change protocol；VideoCrafter2 的画质提升也没有转成 motion 全面领先。Align-A-Video、VideoDirector 与 FateZero 分别通过 reward tuning、反演/attention control 和 attention fusion 改善编辑执行，其中 VideoDirector 最大数值收益来自未编辑区域保真，FateZero 仍难生成全新动作。这些失败可以来自底座、inversion、mask 或控制机制，因此输出分数无法单独归因为“理解不足”。
InsViE-1M、FramePainter 与 QK-Edit 又补充了数据、任务定义和指标适用域：InsViE 的八项输出分数没有评估剪辑元素识别或多步计划，且 GPT-4o 同时参与数据筛选和评测；FramePainter 的 benchmark 对象是两帧 formulation 的最终编辑图，不能作为视频理解指标；QK-Edit 的 CLIPframes/Pick/ViCLIP 能报告文本与输出关系，却不能检测未编辑区域局部漂移、复杂运动 inversion 错误和叙事功能。当前最重要的审计字段应包含 source preservation / intended change / unintended change / temporal consistency / instruction reasoning / workflow success。
Tune-A-Video 的 42 videos/140 prompts 协议是更早的压力测试：frame-pair CLIP similarity 与 text CLIP 分别报告时序外观和文本对齐，却可能奖励低运动输出；每视频 tuning、DDIM inversion 和输入视频本身共同提供强先验。它没有 preserve/change mask、unintended-change 或 workflow labels，因此不作为编辑理解正证据。
CAMEL、DIVE、Language-driven Video Inpainting 与 MotionFollower 把 metric confounding 展示得更清楚：CAMEL 没有直接 motion metric；DIVE 用 CLIP identity/temporal proxies，缺背景和动作轨迹误差；LGVI 指标混合 language grounding、mask prediction、teacher-GT inpainting 与生成质量；MotionFollower 用同视频分段 pseudo-GT 近似真实 cross-identity transfer。Benchmark schema 应增加 grounding accuracy / identity preservation / motion trajectory error / background preservation / true cross-instance GT provenance / runtime。
Pix2Video/RAVE 又显示 runtime 必须包含 inversion、sampling 和推理期优化；“training-free”不能单独充当效率结论。GlitchBench 的 593 个单帧故障适合扩充 artifact taxonomy，HallusionBench 的 455 个反事实 control pairs 适合检查 source/edited consistency；两者都缺真实视频编辑指令、连续输出与工作流 success labels，因此只提供方法学邻近证据。
StableVideo/VidToMe 的 flow、LPIPS、CLIP 一致性主要衡量传播稳定；Reangle-A-Video 的 MEt3R/FVD 主要衡量新视点生成；VEGGIE 才直接提供 mask grounding/reasoning segmentation，但 J/F 绝对值仍低且 benchmark 仅 132 pairs。综合 benchmark 应把 camera re-targeting、appearance propagation、identity、grounding、reasoning 与 semantic edit success 分开。
AVID/CCEdit/FlowVid/MotionEditor 再补四种 input-interface confounder：mask propagation、edited key frame、optical flow、reference pose。现有 BP/CLIP/LPIPS/MOS 无法分离 editor 与 XMem/flow/segmentation/I2I key-frame 的贡献；benchmark 必须保存上游接口质量、source preservation、target motion/identity、遮挡恢复和全流程 runtime。
DynVideo-E/Fairy/Shape-aware/Video-P2P 又要求按 representation 与 adaptation 分桶：NeRF 的 novel-view/geometry、anchor editor 的动态效果、atlas 的 UV/correspondence、inversion editor 的重建/局部性。场景选择、参考图、人工修正和 per-video tuning 应作为 benchmark 输入成本，而非隐藏在“编辑质量”总分内。
ANetQA/SOK-Bench 只提供组合与情境推理 proxy；MMMU 是静态专家题；FlashEval 是 prompt subset selector。任何迁移到编辑 benchmark 的方案都需加入 source video、instruction、intended/unintended change、temporal consistency 和 workflow success，并报告 question-only baseline 与 contamination audit。
编辑理解所依赖的前置能力
- sources/2026-04-14-mvbench 直接测短视频动作、对象、状态变化、定位、计数与反事实推理，提供编辑理解的通用时序底座；它没有源视频、编辑指令和操作级成功标签。
- sources/2026-04-14-lvbench 把跨度扩展到平均约 68 分钟，直接暴露长素材中的跨事件检索、实体追踪、总结与指令遵循问题；它对应长素材剪辑的必要前置能力。
- sources/2026-04-14-sti-bench 测尺寸、距离、速度、轨迹、方向与相机位姿，把“语义上看懂”推进到量化时空 grounding；最佳模型仍约 41%，说明复杂空间/运动编辑的机制基础尚不稳定。
- sources/2026-04-14-vbench 把生成结果拆成 16 个质量与条件一致性维度，可以复用为编辑输出质量骨架；其初版对象是约 2 秒的 T2V 视频，缺少 preserve/change 约束。
- sources/2026-04-14-video-bench 用 chain-of-query 与 few-shot scoring 对齐 35,196 次人工评分，证明 MLLM evaluator 需要流程设计与尺度校准；Temporal Consistency 相关性仍只有 0.402，且没有源视频保持与局部编辑协议。
为什么还没有被真正解决
因为现在至少有四套彼此不同的评测逻辑在并行存在：感知质量、human preference、形式化满足性、细粒度编辑理解。它们都重要，但彼此并不等价。一个模型可能更会讨好人眼，却不一定更会遵守逻辑约束；一个模型可能满足形式化规则，却不一定真的在复杂编辑任务里表现更自然；一个模型在 video-editing benchmark 上得分高，也未必代表它在真实用户工作流里更可靠。
阶段性综合判断
基于当前已经编译进 wiki 的证据，这个问题的阶段性答案已经可以更明确：现有评测已经覆盖短视频时序底座、长素材记忆、量化时空 grounding、生成结果质量、人类偏好、形式化满足性与细粒度编辑执行；这些坐标仍缺少与真实编辑工作流成功率的联合标定。
社区现在已经能分别测“看起来好不好”“人类喜不喜欢”“逻辑上对不对”“底层时空能力够不够”“细粒度编辑做没做到”。当前最大的空白是建立这些坐标与真实任务完成度之间的映射关系，并在同一模型、同一素材和同一编辑指令上联合报告。
当前更倾向的结论
- 现有 benchmark 和 evaluator 都是必要的，但都还是局部视角。
- 评测主线已经从“有没有 benchmark”升级为“不同 benchmark 在测哪一层能力”。
- 真正缺少的是跨评测体系、跨模型、跨真实任务的对应关系研究。
- 因此这条 question 虽然仍然保持
open，但方向上已经更清楚：后续最值钱的工作不是再加一个孤立分数器，而是把质量、偏好、逻辑满足性与编辑理解能力建立统一映射。
下一步最有价值的证据
- 同一批模型同时报告感知质量、human preference、形式化满足性与编辑理解分数的工作。
- benchmark 分数与真实视频编辑工作流成功率之间的相关性分析。
- 能解释“哪些评测差异对应哪些真实失败模式”的诊断型研究。
- 更明确区分视频生成评测与视频编辑理解评测的系统论文。