English translation pending — this page shows the Chinese original.
Current view
Video Generation
研究文本到视频与图像到视频怎样同时获得空间质量、运动可控、主体一致、长时结构和可承受的训练/推理成本。
Reading path
- ProblemDefine task and evidence boundary
- MethodsCompare families and design choices
- EvidenceReturn to papers and searchable text
- Open questionsTrack unresolved tensions
Method family map
From problem definition to verifiable system capability
三分钟摘要
- 视频生成不是“每帧图像生成”。系统必须同时保持主体/场景、产生合理运动、覆盖足够时间、服从条件并控制时空 token 成本。
- 短视频质量已经很强，但长时一致、事件推进、物理/几何、可重复运动控制和可靠评测仍是主要瓶颈。
- 近五年形成四条并行主线：复用图像扩散先验、构建视频预训练底座、显式轨迹/草图/运动控制、以及流式/线性/一步生成效率。
- 适合研究生的入口是可诊断的运动控制、长时错误指标、同预算系统测量和专业场景数据，而不是从头训练通用视频基础模型。
先懂这几个词
| 术语 | 白话解释 |
|---|---|
| 文生视频（T2V）/ 图生视频（I2V） | 从一句话 / 从一张图生成一段视频 |
| 时序适配（temporal adaptation） | 在图像生成模型上加少量时间模块，让它能生成视频 |
| 长视频生成 | 生成远超训练长度的视频，难点是身份、场景和事件不跑偏 |
| 流式生成（streaming） | 边生成边输出，一段接一段往后续写 |
| 回退 / 重复（drift / repetition） | 长视频里画面退回开头或反复循环；也可能表现为画面几乎不动 |
| 轨迹 / 草图控制 | 用画出的运动路线或草图指定物体怎么动 |
| NFE / token 成本 | 去噪网络运行次数 / 模型要处理的时空单元数，决定真实计算量 |
指标怎么读
| 指标 | 含义 | 方向 |
|---|---|---|
| 画质 / 美学分 | 单帧看起来是否清晰、好看 | ↑ 越高越好 |
| 动态程度（Dynamic） | 画面里运动有多丰富；太低说明视频几乎静止 | ↑ 通常越高越好，但要和一致性一起看 |
| 主体 / 背景一致性 | 同一人物和场景在整段视频里是否保持不变 | ↑ 越高越好 |
| 轨迹误差 | 生成的运动和指定路线偏差多少 | ↓ 越低越好 |
| 首次失效时间 | 视频从第几秒开始出错 | ↑ 越晚越好 |
| P50 / P95 延迟、峰值显存 | 生成速度和资源占用 | ↓ 越低越好 |
任务或系统流程
一段视频的内容、运动、时间和成本分别由哪里决定？
条件先被编码，模型还要规划或隐式表示时间；时空生成主干产生 latent 序列，解码后必须同时检查空间与时间维度。
- 条件输入文本、首帧/参考图、轨迹、草图、摄像机或结构控制
- 时空表示/规划帧 token、3D latent、运动 token、窗口或长短期记忆
- 生成主干视频 U-Net、DiT、分解 attention、线性模块或少步学生
- 解码与拼接从 latent 恢复帧，并处理窗口边界、分辨率与流式上下文
- 联合验收空间质量、时间一致、动态程度、条件遵循、时长和真实成本
文本、图像或轨迹条件经编码和时间规划，进入时空生成主干，解码为帧序列，再评估画质、运动、主体一致、条件遵循与延迟。
当前综合判断
1. 竞争重点从“能不能动”变成“能否按意图稳定地动得够久”
为什么重要：短视频质量已经很强，新手要关注的是剩下的难题：控制、时长和一致性。
- Tune-A-Video 说明：图像扩散模型加轻量时序模块就能迁移到视频。
- VideoCrafter2 代表另一条路：专门的视频数据和训练系统。
- 两者合起来说明图像先验很重要，但视频运动不能只靠逐帧复制语义。
2. “更长”和“更快”是几种不同的改进
为什么重要：论文常笼统地说“更快、更长”，其实改动的是不同环节，比较时要分开。
| 方法 | 改的是哪一环 | 做法 |
|---|---|---|
| StreamingT2V | 上下文管理 | 用短期和长期记忆续写长视频 |
| LinGen | 主干结构 | 线性复杂度模块，冲击分钟级生成 |
| OSV | 采样步数 | 图生视频压到一步，再加一次精修 |
3. 能一直生成下去，不等于记得很久以前的事
为什么重要：流式生成可以持续输出，但“持续运行”“不回退”“记住远处事件”是三件不同的事。
- LoL 找到了长视频回退到开头画面的一个原因（多头位置编码的相位集中），并改善了 100 秒视频里重复与动态的取舍。
- 它展示了 12 小时的演示，但没有定量证明小时级的身份和事件记忆，作者也承认长期记忆仍然困难。
- 注意：重复分数低，也可能只是画面几乎不动。
4. 控制接口在扩展，但控制对了不等于真实
为什么重要：轨迹、草图、运动强度让用户能指定怎么动，但物体动对了位置，不代表物理合理、身份稳定。
- Tora、MotionStone、SketchVideo 表明显式结构条件有用。
- 控制正确不等于物理真实、身份稳定或长时事件合理，这些需要单独验收。
近五年演化（2022—2026）
视频生成近五年的研究重心如何变化？
节点按系统能力组织；编辑论文作为反方/邻近证据，只用于解释一致性和控制接口，不等同于纯生成结果。
- 2022–2023 · 迁移图像先验单视频适配与时序模块让 T2I 扩散进入视频
- 2023–2024 · 专门视频底座VideoCrafter2 等扩大视频数据与训练，质量/运动开始分开优化
- 2024 · 多维评测EvalCrafter、Video-Bench 等强调画质、时间与条件的不同维度
- 2025 · 显式运动控制Tora、MotionStone、SketchVideo 将轨迹、强度和草图接入生成
- 2025 · 长时与效率StreamingT2V、LinGen、OSV 分别推进记忆、线性主干和一步 I2V
- 2026 · 可靠系统比较重点转向真实时长、事件一致、物理失败和完整训练/推理预算
2022 到 2023 年复用图像扩散和视频训练，2024 年评测与一致性，2025 年轨迹、流式、线性和一步生成，2026 年强调同预算长时可靠性。
方法家族与成熟阶段
一篇论文是在提高画面、运动、时长、控制还是效率？
同一方法常同时改多层；必须用对应指标和消融分开验证，避免只凭整体偏好分数归因。
- 图像先验迁移在预训练 T2I 上加入时间层、adapter 或逐视频微调
- 专用视频底座用视频数据从头/继续训练时空 U-Net 或 DiT
- 结构化运动控制轨迹、光流、草图、姿态或摄像机控制运动路径
- 长时与流式扩展窗口生成、记忆、层级计划或线性序列模块延长时间
- 少步与系统效率蒸馏、缓存、token 压缩、量化和解码并行降低成本
方法地图包括图像先验迁移、专用视频底座、结构化运动控制、长时记忆/流式生成、效率与评测。
方法家族的成熟度
短视频扩散底座
Tune-A-Video、VideoCrafter2 等已建立可复现时空扩散平台。
价值转向数据治理、域外运动和受控成本，而非再证明视频扩散可行。
图像到视频与首帧保持
OSV、MotionStone 等表明首帧条件与运动调制可产生强 I2V。
身份/几何保持与动态幅度的可校准 Pareto 边界。
轨迹、草图与显式运动控制
Tora、SketchVideo 提供结构条件接口，但复杂交互和物理约束不足。
多对象轨迹冲突、遮挡、摄像机与对象运动解耦。
长时、流式与记忆
StreamingT2V、LinGen 已推进可生成时长；LoL补充汇聚帧回退的机制证据，但其75/100秒主表不等于12小时语义一致性验证。
事件级计划、可回滚记忆和随时长增长的失效曲线；将周期回退与语义遗忘分别标注。
少步部署与可靠评测
OSV 展示一步 I2V；AIGV-Assessor、EvalCrafter、Video-Bench、神经符号评测拆分质量与条件。
同硬件端到端延迟、长时/控制维度和人评一致性的统一协议。
哪些方向拥挤，哪些方向仍值得做
拥挤方向与研究机会
- 相对拥挤：只做短 prompt 短视频的总体质量；只加注意力层而不控制数据和预算；只用精选样例证明长时一致；只报告生成步数或主干计算量。
- 仍值得做：轨迹和多对象交互的可证伪控制；错误随时长增长的曲线；中文或体育、工业等专业运动数据；统一报告主干、NFE、解码与流式缓存成本；评测器与人类偏好的失效审计。
先看结论
Recommended
先证明问题存在且可测
先选 A，测错误怎样随视频时长增长。
选 C，在同一硬件上把生成成本算清楚。
再考虑 B，多对象轨迹与遮挡控制。
Avoid first
从头训练通用视频基础模型
训练一个新的视频大模型，或只展示短视频的精选样例。
训练成本远超研究生资源；精选短样例看不出长时漂移和控制失败。
用公开模型，固定 prompt 和种子，测量错误在哪一秒出现、是什么类型。
三个研究入口怎么选
长时错误增长与可定位评测
测身份、背景、动作、事件和物理错误怎样随视频变长而增加。
想做评测，算力有限。
固定 2–3 个公开模型，按不同时长切片，人工核验几百个 prompt。
错误增长能稳定复现，自动指标和人工判断大体一致。
多对象轨迹与遮挡控制
让多个物体按指定轨迹运动，并处理交叉、遮挡和镜头运动。
想提出新方法，能构造合成或体育轨迹数据。
建一个小的轨迹数据集，比较文本、单轨迹和多轨迹三种控制。
基础模型能稳定生成目标对象。
同预算下的生成成本账
拆清采样步数、主干、token、解码和流式缓存各花了多少。
偏工程，重视可复现。
用公开模型和统一硬件，报告端到端 P50/P95 延迟、显存和质量。
各模型能在统一环境下运行。
对“能否作为研究生方向”的修订结论
视频生成可以作为研究生方向，前提是用公开模型做诊断和测量。A 的评测资产最容易复用，C 能建立工程基线，B 方法新颖度更高。改方法之前，先用 A 或 C 的协议证明问题存在且可测。
反方证据、局限与可证伪条件
- 如果随机抽取长片段后主体/场景错误随时长快速增长，“长视频生成已解决”应被否定，即使拼接后总时长很长。
- LoL 的对照方法回退分数低，但画面几乎静止，所以重复、动态和语义要一起验收。论文里同一个 100 秒基线在两张表中的动态分数差异很大，设置差异未交代清楚，两表不能合并比较；“保留质量”的说法也要结合若干质量指标下降的反证。
- 如果轨迹命中依赖简单背景/单对象，或控制器改善位置却损害外观，不能宣称通用运动控制。
- 如果一步模型的训练成本、解码器或 refinement 被排除在延迟外，效率结论必须收窄。
- GlitchBench 与多维评测说明定性平滑可能掩盖物理/时序异常；自动评测器也可能只捕捉表面一致。
- 数据许可、人物身份、记忆、安全、音视频同步和真实物理仍是共同风险。
研究生可行的研究入口
候选课题 A：长时错误增长与可定位评测优先推荐
Expand research designCollapse research design
身份、背景、动作、事件和物理错误怎样随生成时长增长？
固定 2–3 个公开模型，把视频按 2 秒到 16 秒的四档长度切片，人工核验 300–500 个 prompt。
首次失效时间、错误持续/恢复、身份和条件命中、评测器—人类一致性。
短窗口pilot之后，再固定原模型/PE/LoL的prompt、种子和位置设置，测试100秒、超出模型latent位置上限及小时级滚动；不把视频秒数当latent index。分别记录初始帧回退、动态幅度、离场后身份恢复、事件顺序，加入合理回访负对照，按prompt而非帧聚类计算不确定性。LoL公开仓库当前仅README/GIF，执行代码未核验前不把它列为即装即跑基线。
若模型输出时长不可比，先固定短窗口滚动生成协议。
候选课题 B：多对象轨迹与遮挡控制方法型
Expand research designCollapse research design
轨迹条件怎样处理交叉、遮挡和摄像机运动，能否定位控制冲突？
合成/体育轨迹小集，对比文本、单轨迹和多轨迹控制。
轨迹误差、ID 保持、遮挡恢复、外观质量和额外延迟。
若基础模型无法生成目标对象，先缩小到单一域并分离概念覆盖。
候选课题 C：同预算 I2V/长视频系统账本稳健
Expand research designCollapse research design
采样步数、单步主干、token、解码与流式缓存分别贡献多少成本？
公开 checkpoint + 统一硬件，报告端到端 P50/P95、显存和质量。
秒视频/秒计算、峰值显存、能耗代理、动态/保持和失败率。
若训练预算不透明，结论限定为推理系统，不外推全生命周期。
推荐排序与止损条件
A 的评测资产最易复用，B 的方法新颖度更高，C 可建立工程基线。任何方法改造前先用 A/C 协议证明问题存在且可测。
证据基础
- 底座与迁移：Tune-A-Video：单样本调优图像扩散模型做文本到视频生成、VideoCrafter2：低质量视频与高质量图像协同训练的视频扩散模型、Encapsulated Composition：组合式文本到图像/视频模型高质量视频合成。
- 控制与主干：Tora：面向视频生成的轨迹导向扩散 Transformer、MotionStone：用 DiT 解耦运动强度调制的图像到视频生成、SketchVideo：基于草图的视频生成与编辑、Pathways on the Image Manifold：通过视频生成做图像编辑。
- 长时与效率：LinGen：面向高分辨率分钟级文本到视频生成的线性复杂度框架、OSV：高质量图像到视频生成一步就够、StreamingT2V：一致、动态、可扩展的长视频文本生成、LoL:Longer than Longer, Scaling Video Generation to Hour。
- 评测：AIGV-Assessor：用大模型评测文本到视频生成感知质量、Video-Bench：人类偏好对齐的视频生成评测、EvalCrafter：大视频生成模型的多维评测与人工偏好校准、GlitchBench：大型多模态模型能否识别电子游戏故障、通过形式化验证评测文本到视频模型的神经符号方法。
- 邻近编辑/一致性证据：RAVE：随机噪声重排的快速一致视频编辑、MotionEditor：参考姿态驱动的人体视频运动编辑、MaskINT：关键帧扩散编辑与非自回归结构插帧的视频编辑、CCEdit：以结构—外观解耦实现创意可控视频编辑、FramePainter：用视频扩散先验增强交互式图像编辑、QK-Edit：在 MM-DiT 中重构图像与视频编辑的 attention 注入、InsViE-1M：通过精细数据构造实现 instruction-based 视频编辑、CAMEL：面向文本驱动视频编辑的因果运动增强、VidToMe：用跨帧 token merging 做零样本视频编辑、MotionFollower：通过 score-guided diffusion 编辑视频运动、Reangle-A-Video：把单目视频重演为多视角同步视频、StableVideo：用 layered atlas 稳定扩散视频外观编辑、Pix2Video：利用图像扩散进行视频编辑、AVID：用 Temporal MultiDiffusion 做任意长度视频修补、DynVideo-E：用动态 NeRF 编辑大运动与大视角人体视频、Shape-aware Text-driven Layered Video Editing：用 UV 变形突破 atlas 的固定形状、VIVE3D：多帧个性化 EG3D 的视角无关人脸视频编辑、Fairy：用 anchor cross-frame attention 并行加速指令视频编辑、FlowVid：把不完美光流作为软条件的视频编辑。
开放问题
- 怎样定义“长时一致”而不只比较相邻帧？
- 如何区分不合理回到sink与叙事中的合理重访？多头RoPE扰动的无回退优势能否在跨架构、跨位置上限、多种子测试中保持，同时不牺牲动态与长期记忆？
- 事件计划与像素生成应统一还是分层？
- 视频评测器能否抵抗静态高质量、低动态和 prompt 捷径？
- 训练数据的授权、身份与时序重复怎样审计？