English translation pending — this page shows the Chinese original.
Current view
Video Editing
研究怎样按文本、草图、主体或运动条件修改现有视频，同时保持跨帧身份、背景、几何、运动与未编辑内容。
Reading path
- ProblemDefine task and evidence boundary
- MethodsCompare families and design choices
- EvidenceReturn to papers and searchable text
- Open questionsTrack unresolved tensions
Method family map
From problem definition to verifiable system capability
三分钟摘要
- 视频编辑比图像编辑多一个硬约束：修改必须在时间上稳定，同时尊重源视频运动、身份、背景和遮挡。
- 主流路线包括逐视频调优/反演、训练免费注意力或特征传播、显式 mask/光流/3D 几何、主体/运动专门编辑，以及用大规模指令数据训练统一模型。
- “training-free”通常只表示不更新模型参数，不代表没有反演、多轮优化、光流、特征缓存或较高 NFE。
- 研究价值更集中在可定位的时间失败、源视频保持协议、运动与主体编辑解耦、以及评测模型是否真正理解编辑意图。
先懂这几个词
| 术语 | 白话解释 |
|---|---|
| 时间一致性（temporal consistency） | 编辑后的视频逐帧看起来连贯，不闪烁、不跳变 |
| 源视频保持 | 没要求改的部分（运动、背景、身份）和原视频一致 |
| 反演（inversion） | 把原视频映射回模型内部的噪声或潜变量，之后才能编辑 |
| training-free | 不更新模型参数；但仍可能有反演、光流、多次采样等昂贵步骤 |
| 光流（optical flow） | 估计每个像素在相邻帧之间怎么移动，用来把编辑“搬”到后续帧 |
| 遮挡 / 镜头切换 | 物体被挡住后再出现，或画面切到另一个镜头；这是编辑最容易漂移的地方 |
| NFE | 去噪网络实际运行的次数，比“步数”更接近真实计算量 |
指标怎么读
| 指标 | 含义 | 方向 |
|---|---|---|
| 指令服从 / 编辑满足 | 结果是否做到了指令要求的修改 | ↑ 越高越好 |
| 源视频保持 | 未要求修改的内容保留得多好 | ↑ 越高越好 |
| 时间一致性 | 相邻帧之间是否平滑；只测相邻帧可能漏掉长程漂移 | ↑ 越高越好 |
| 人评一致性 κ | 多位评审是否意见一致，0 表示随机，1 表示完全一致 | ↑ 越高越可信 |
| P50 / P95 延迟 | 一半 / 95% 的任务在多长时间内完成 | ↓ 越低越好 |
| 峰值显存 | 运行时最多占用的显存 | ↓ 越低越好 |
任务或系统流程
视频编辑在哪些环节建立或失去跨帧一致性？
系统先构造源视频的可编辑表示，再把条件传播到所有帧。任何只在单帧生效的编辑都可能在遮挡、视角和快速运动处失稳。
- 源视频解析帧、对象、mask、光流、深度、相机或 3D/latent 表示
- 反演/适配将源片段映射到模型轨迹、缓存特征或逐视频参数
- 编辑条件文本、草图、主体图、运动、局部 mask 或多模态指令
- 时间传播与生成attention 共享、token 融合、光流/几何传播或视频扩散
- 三类验收目标编辑、源内容保持、跨帧一致与真实端到端成本
源视频先经反演或编码，再接文本、主体、草图或运动条件，通过时间传播/生成得到结果，最后分开评估编辑、保持和时间一致。
当前综合判断
1. 视频编辑还没有统一方案，各路线依赖不同假设
为什么重要：不同方法对源视频的要求差别很大，只按“哪个看起来更好”排序会误导。
| 路线 | 代表方法 | 思路 |
|---|---|---|
| 复用图像扩散模型 | FateZero、Video-P2P、RAVE | 复用注意力或潜变量，把编辑在帧间传播 |
| 非扩散对照 | MaskINT | 用掩码 Transformer 做编辑 |
| 显式几何与运动 | FlowVid、Fairy、分层编辑 | 用光流、特征传播或图层保持几何一致 |
2. 运动和主体正在成为单独的编辑对象
为什么重要：“改颜色、改风格”之外，研究开始改变人物动作、主体和视角。控制越强，需要的中间表示和预处理越多，出错的环节也越多。
- 改运动：MotionEditor、Camel、MotionFollower。
- 改主体 / 按参考图编辑：DIVE、FramePainter。
- 引入 3D/4D 表示：VIVE3D、Re-Angle-a-Video。
3. 统一模型扩展了任务覆盖，但没解决保持和时间失败
为什么重要：大规模指令数据让一个模型能做更多种编辑，但“能生成编辑结果”和“理解编辑意图”是两种能力。
- INSVIE-1M、QK-Edit、VEGGIE、VideoDirector 用指令数据和条件注入扩展任务覆盖，源视频保持和时间失败依然存在。
- VEU-Bench、FiVE-Bench 显示：会生成编辑结果，不代表能理解编辑元素、推理和功能。
4. 评测要分开“做了哪些任务”“做得多好”“花了多少”
为什么重要：如果失败的样本被排除在平均分之外，总分会虚高。
IVEBench 把质量、指令服从、源视频保持拆开评测，这是好的做法。但它的长视频（Long）子集存在分母问题：
| 方法 | Long 子集源片段 | 因显存不足（OOM）被排除 |
|---|---|---|
| AnyV2V | 200 | 65 |
| StableV2V | 200 | 102 |
另有部分方法只处理了 17、73 或 81 帧。
怎么读：这些方法的 Long 分数只代表“成功跑完的那部分”，不等于完整长视频的成功率。
注意：IVEBench 有人评（一致性 κ=0.78），但相关性按什么单位统计尚不清楚，公开代码与论文公式也有差异。
近五年演化（2022—2026）
视频编辑近五年的主要能力节点是什么？
时间线按接口变化组织：图像先验迁移、时间传播、显式运动/几何、规模化指令数据和专门评测。
- 2022–2023 · 图像先验迁移FateZero、Video-P2P、Pix2Video 等把注意力和反演扩展到时间
- 2024 · 一致与效率工程RAVE、VidToMe、Camel、MaskINT 探索网格、token、运动和非扩散路线
- 2024–2025 · 显式几何/主体FlowVid、VIVE3D、DIVE、FramePainter 引入光流、3D 或参考主体
- 2025 · 指令数据与统一接口INSVIE-1M、QK-Edit、VEGGIE、VideoDirector 扩大任务与条件
- 2025–2026 · 专门 benchmarkFiVE-Bench、VEU-Bench 区分结果质量、编辑理解和功能推理
2022 到 2023 年零样本/逐视频编辑，2024 年效率、运动和非扩散路线，2025 年统一数据、主体/3D/4D 与 benchmark，2026 年聚焦可证伪保持和理解。
方法家族与成熟阶段
一致性究竟来自反演、传播、显式运动、3D 还是数据？
多数系统混合多层。消融应逐层移除，报告每层对编辑、保持、时间和成本的影响。
- 逐视频反演/调优精确贴合源片段，代价是每视频时间、存储和泛化
- 注意力与特征传播复用 T2I 特征跨帧保持语义，遮挡和大运动易失败
- mask/光流/分层表示显式定位和传播局部变化，依赖估计质量
- 3D/4D 与运动表示用几何或运动先验保持视角和动态，前处理更复杂
- 指令数据与统一模型从大规模编辑对学习多任务接口，需检查任务干扰
- 评测与理解模型判断改了什么、保留什么、为什么失败，而不只给总体分
方法地图包含逐视频适配、注意力特征传播、光流/mask、3D/4D、指令统一模型、评测理解。
方法家族的成熟度
注意力/特征传播的零样本编辑
FateZero、Video-P2P、RAVE、VidToMe 已形成丰富工程路线。
遮挡、快速运动、镜头切换与长片段的局部失败定位。
逐视频反演与适配
StableVideo、Video Worth 256 Bases 等证明逐视频轨迹可增强保持。
降低每视频成本并建立“重建好不等于可编辑好”的联合指标。
显式 mask、光流与分层几何
FlowVid、language-driven inpainting、shape-aware layered editing 等显示结构先验有效。
估计不确定性、遮挡传播和软/硬约束冲突。
主体、运动与 3D/4D 专门编辑
MotionEditor、MotionFollower、DIVE、VIVE3D、Re-Angle 分别处理不同专门维度。
身份、动作、相机与背景四因素解耦及跨域泛化。
统一指令数据与编辑理解
INSVIE-1M、QK-Edit、VEGGIE 与 VEU/FiVE benchmark 建立数据和验收接口。
同预算任务干扰、真实用户指令、模型评测器循环和失败可解释性。
哪些方向拥挤，哪些方向仍值得做
拥挤方向与研究机会
- 相对拥挤：对短、慢、单主体片段做总体定性；把不训练参数称为低成本；只测相邻帧相似；在不同源视频或指令上与基线比较。
- 仍值得做：遮挡与镜头切换下的可定位错误；同时测“编辑满足”和“源视频保持”的评测；运动、相机、主体的解耦；同一硬件上的完整流程成本；体育、手术、教学等有明确时间语义的专业场景。
先看结论
Recommended
先找可定位的失败，再做方法
先选 A，诊断遮挡和镜头切换时编辑怎样漂移。
选 C，把 training-free 方法的完整成本算清楚。
再考虑 B，运动—相机—主体解耦，但真值难拿。
Avoid first
只给短片段的定性样例
挑几段短、慢、单主体的视频展示效果，并称方法“不训练所以便宜”。
这类片段最容易，看不出遮挡、镜头切换和长时漂移；不训练参数也可能有昂贵的反演和多次采样。
固定源视频和指令，记录失败发生在哪一帧、哪种情况，并报告端到端时间。
三个研究入口怎么选
遮挡与镜头切换时的编辑失败诊断
找出物体消失再出现、镜头切换时，编辑在哪里、为什么漂移。
想做评测或诊断，算力有限。
收集 300–800 个带遮挡或切换的短片段，固定三类公开方法跑一遍。
失败能稳定复现，并能定位到表示或传播环节。
运动—相机—主体解耦控制
只改对象的运动，同时不误改相机、身份和场景。
想提出新方法，能构造合成数据。
用可控合成数据加少量真实体育片段，比较文本、轨迹、光流/姿态三种条件。
能拿到可靠的运动真值。
training-free 方法的完整成本账
拆清反演、预处理、缓存、去噪和解码各花多少时间，收益在哪些片段消失。
偏工程，重视可复现。
统一硬件、视频时长和分辨率，记录 P50/P95 延迟和失败样本。
各方法的实现能在统一环境下复现。
对“能否作为研究生方向”的修订结论
视频编辑可以作为研究生方向。A 同时有评测价值和方法延展，最推荐；C 最稳健；B 最新颖但真值难拿。三条路都先完成可测的基线，再决定是否训练专用模块。
反方证据、局限与可证伪条件
- 若顺序打乱或逐帧编辑获得近似分数，所谓时间一致指标未测到时序能力。
- 若 training-free 方法包含昂贵反演、光流、缓存或多次采样，低成本结论必须用端到端延迟重新检验。
- 若统一模型在复杂运动/保持任务持续落后专用系统，强统一替代结论应撤回。
- 若评测器与编辑模型共享相同视觉语言表示，需用人工或独立诊断集验证。
- 若Long排名混用完整长度、抽帧上限与失败排除，先报告实际帧数/覆盖率再讨论性能。IVEBench的AnyV2V、StableV2V在200条Long源片段中分别排除65、102条OOM；成功条件均分不能替代全任务分母。
- 若论文与公开judge接口或权重不一致，必须冻结两套版本。IVEBench正式CF用源描述，而当前代码给源/输出视频；VTSS权重正文5、代码4，聚合CLI还有已复现的解包错误。代码修复后也不能默认重现正式榜单。详见IVEBench:Modern Benchmark Suite for Instruction-Guided Video Editing Assessment。
- 共同局限包括遮挡、镜头切换、长时漂移、主体记忆、授权、安全和评测数据规模不足。
研究生可行的研究入口
候选课题 A：遮挡与镜头切换的编辑失败诊断优先推荐
Expand research designCollapse research design
编辑在对象消失/重现和 shot transition 时怎样漂移，能否定位到表示或传播层？
300–800 个带遮挡/切换的短片段，固定三类公开方法。
重现身份、局部编辑、背景保持、首次失效时间和人工错误类型。
增加源视频复制、乱序与中段遗漏负例；保存source_id、请求/实际帧数、失败原因、指标适用性和judge版本，按源片段做聚类置信区间。IVEBench表4人类相关性统计单位须先澄清，不作为已复现的样本级校准（IVEBench:Modern Benchmark Suite for Instruction-Guided Video Editing Assessment）。
若上游对象真值不稳定，先收窄单对象可见性协议。
候选课题 B：运动—相机—主体解耦控制方法型
Expand research designCollapse research design
怎样只改对象运动，不误改相机、身份和场景？
合成可控 + 少量真实体育片段，对比文本、轨迹、光流/姿态条件。
运动命中、身份、相机轨迹、背景和额外成本。
若真值不可获得，先做诊断 benchmark 而非声称因果解耦。
候选课题 C：training-free 完整成本与质量账本稳健
Expand research designCollapse research design
反演、预处理、缓存、NFE 与解码各占多少，收益在哪些片段消失？
统一硬件、输入时长/分辨率，记录 P50/P95 和失败。
总延迟、峰值显存、编辑/保持、时长扩展曲线。
模型实现不可复现时只保留可测 subset，不填补缺失数字。
推荐排序与止损条件
A 兼具评测与方法延展，B 新颖但真值难，C 最稳健。先完成可测基线，再决定是否训练专用模块。
证据基础
- 多轴评测与复现边界：IVEBench:Modern Benchmark Suite for Instruction-Guided Video Editing Assessment；将实际帧预算、OOM覆盖、人评单位、代码/公式版本纳入验收。
- 注意力/反演：FateZero：融合注意力做零样本文本视频编辑、Video-P2P：用 shared-null inversion 与解耦 guidance 做 attention-control 视频编辑、RAVE：随机噪声重排的快速一致视频编辑、StableVideo：用 layered atlas 稳定扩散视频外观编辑、Pix2Video：利用图像扩散进行视频编辑、A Video is Worth 256 Bases：以时空 EM 低秩基改进零样本视频反演。
- 传播与几何：FADE：面向视频编辑的频率感知扩散模型分解、VidToMe：用跨帧 token merging 做零样本视频编辑、AVID：用 Temporal MultiDiffusion 做任意长度视频修补、DynVideo-E：用动态 NeRF 编辑大运动与大视角人体视频、通过多模态大模型实现语言驱动视频修补、Shape-aware Text-driven Layered Video Editing：用 UV 变形突破 atlas 的固定形状、Fairy：用 anchor cross-frame attention 并行加速指令视频编辑、FlowVid：把不完美光流作为软条件的视频编辑。
- 运动/主体/3D：MotionEditor：参考姿态驱动的人体视频运动编辑、CAMEL：面向文本驱动视频编辑的因果运动增强、MotionFollower：通过 score-guided diffusion 编辑视频运动、FramePainter：用视频扩散先验增强交互式图像编辑、DIVE：用 DINO 做主体驱动视频编辑、VIVE3D：多帧个性化 EG3D 的视角无关人脸视频编辑、Reangle-A-Video：把单目视频重演为多视角同步视频、SketchVideo：基于草图的视频生成与编辑。
- 统一数据与模型：VideoDirector：借助文本到视频模型实现精确视频编辑、Align-A-Video：面向一致视频编辑的确定性奖励调优、QK-Edit：在 MM-DiT 中重构图像与视频编辑的 attention 注入、InsViE-1M：通过精细数据构造实现 instruction-based 视频编辑、VEGGIE：统一指令视频编辑、grounding 与 reasoning segmentation、MaskINT：关键帧扩散编辑与非自回归结构插帧的视频编辑、CCEdit：以结构—外观解耦实现创意可控视频编辑。
- 评测：VEU-Bench:Benchmarking Video Editing Element Understanding in General Vid-LLMs、FiVE-Bench：细粒度视频编辑评测基准、Video-Bench：人类偏好对齐的视频生成评测、AIGV-Assessor：用大模型评测文本到视频生成感知质量。
开放问题
- benchmark 是否真正覆盖视频编辑理解？
- 怎样在多轮视频编辑中保持可撤销性与时间状态？
- 独立评测器怎样避免与生成/编辑模型共享捷径？
- 怎样让同一榜单同时报告全任务成功率和成功条件质量，并让论文权重、judge输入及可执行聚合版本一致？IVEBench提供了直接审计案例，但没有解决全部缺口。
- 显式 3D/运动表示在何种视频上值得其前处理成本？