视频生成
概述
这一页整理视频生成方向的主要演化路径。当前批次显示,视频生成正在分成几条相互竞争又彼此补充的路线:一条是面向长视频的可扩展建模,一条是面向快速推理的一步式生成,一条是面向运动质量与可控性的轨迹条件控制,还有一条是通过记忆机制提升长程一致性。整体上看,长时一致性、速度和控制能力是这个方向最核心的三角矛盾。
当前综合判断
sources/2026-04-14-neuro-symbolic-eval-t2v 也说明视频生成评测正在从“看起来像不像”进一步走向“能否被更严格验证”。
sources/2026-04-14-shape-aware-layered-video-editing、sources/2026-04-14-vive3d、sources/2026-04-14-fairy-video-to-video 和 sources/2026-04-14-flowvid 也说明视频生成底座继续被 layered control、3D-aware consistency、高效翻译接口和显式 flow consistency 这些需求反向塑形。
sources/2026-04-14-avid-video-inpainting 与 sources/2026-04-14-dynvideo-e 也说明视频生成底座在继续被修补任务和 3D/动态表示需求牵引。
sources/2026-04-14-stablevideo 与 sources/2026-04-14-pix2video 还说明视频生成能力长期在反向支撑视频编辑,而 sources/2026-04-14-glitchbench 则提醒我们动态异常理解也会影响对视频系统能力的判断。
sources/2026-04-14-camel-video-editing、sources/2026-04-14-vidtome、sources/2026-04-14-motionfollower 和 sources/2026-04-14-reangle-a-video 也说明视频生成底座正越来越直接地被运动编辑、效率和翻译式接口需求重新塑形。
sources/2026-04-14-qk-edit 与 sources/2026-04-14-insvie-1m 也说明视频生成底座开始越来越直接地受视频编辑能力需求反向塑形。
sources/2026-04-14-framepainter 还进一步说明,视频生成 learned priors 已经开始反向成为图像编辑系统的能力来源。
sources/2026-04-14-ccedit 与 sources/2026-04-14-maskint 也从侧面说明,视频生成底座正在被不同类型的视频编辑方法反向检验其控制性、表达性和架构适配性。
同时,sources/2026-04-14-motioneditor 与 sources/2026-04-14-rave-video-editing 也说明视频生成主线与视频编辑主线正在更深地共享底层扩散能力与效率约束。
跨年份证据把这条主题的前史与升级路径都补了出来。早期的 sources/2026-04-14-tune-a-video 说明图像扩散模型可以通过极小样本调优迁移到视频生成;而 sources/2026-04-14-videocrafter2 则进入更成熟阶段,开始正面处理“公开视频数据质量不够”这一核心瓶颈。结合现有 2025 证据看,视频生成主线已经从“能不能把图像模型改成视频模型”逐步走向“怎样在有限数据条件下把质量真正拉高”。目前最清晰的四条路线分别由四篇 source 代表。sources/2026-04-12-lingen 把长高分辨率视频生成问题视为计算复杂度问题;sources/2026-04-12-osv 把一步式 I2V 作为加速路径;sources/2026-04-12-tora 强调轨迹条件带来的运动控制;sources/2026-04-12-streamingt2v 则把长时一致性问题重写为记忆问题。综合来看,视频生成已经不再是单一“提升画质”的问题,而是同时涉及扩展性、控制性、速度和一致性。新补入的 sources/2026-04-14-encapsulated-composition-t2i-t2v 还说明,模块组合式系统也可能在质量和速度上同时占优;sources/2026-04-14-aigv-assessor 则提醒我们,评测工具本身也在决定这类结论看起来是否成立。
跨年份阶段性演化小结
把当前证据按年份展开,这条主线也能分成相对清楚的三个阶段。第一阶段是 迁移验证期:sources/2026-04-14-tune-a-video 这类工作证明,强图像扩散模型并不是只能停留在静态图像,它们可以通过很小代价被迁移到视频生成任务。第二阶段是 质量提升期:sources/2026-04-14-videocrafter2 开始正面回答社区视频模型为什么总是不如商业系统,核心矛盾从“有没有视频模型”转向“在公开数据条件下怎样把质量做上去”。第三阶段是 路线分化期:到 sources/2026-04-12-lingen、sources/2026-04-12-osv、sources/2026-04-12-tora、sources/2026-04-12-streamingt2v 再到 sources/2026-04-14-encapsulated-composition-t2i-t2v、sources/2026-04-14-motionstone,研究已经不再围绕单一目标展开,而是分裂成长视频扩展、速度优化、运动控制、结构调制、模块组合和评测对齐等多条支线。
这说明 video-generation 的真实演化不是“画质越来越高”这么简单,而是目标函数本身在不断变复杂:早期先证明迁移可行,中期处理质量与数据限制,后期则开始把一致性、控制、效率、评测和系统设计一起纳入竞争。当前 topic 的复杂度,也正是这条跨年份演化自然堆出来的结果。
当前阶段结论
- 2023 年更像是在验证图像扩散模型能否迁移出视频生成能力。
- 2024 年开始更系统地处理高质量视频扩散训练的现实瓶颈。
- 到当前 2025 语境里,视频生成已经进入“质量、控制、效率、一致性、评测共同竞争”的多目标阶段。
方法家族
- 早期图像到视频迁移路线:sources/2026-04-14-tune-a-video
- 面向长视频的高效生成:sources/2026-04-12-lingen、sources/2026-04-12-streamingt2v
- 面向高质量训练方案的视频扩散路线:sources/2026-04-14-videocrafter2
- 面向快速推理的生成:sources/2026-04-12-osv
- 轨迹控制生成:sources/2026-04-12-tora
- 模块组合式视频合成:sources/2026-04-14-encapsulated-composition-t2i-t2v
- 强调架构侧运动调制:sources/2026-04-14-motionstone
- 强调专门控制模态的生成/编辑系统:sources/2026-04-14-sketchvideo
- 非扩散视频编辑对照架构:sources/2026-04-14-maskint
- 视频先验外溢到图像编辑:sources/2026-04-14-framepainter
- 视频底座的统一编辑能力压力测试:sources/2026-04-14-qk-edit
- video-to-video 4D 接口改写:sources/2026-04-14-reangle-a-video
- score-guided motion editing 压力测试:sources/2026-04-14-motionfollower
- token-merging 效率优化:sources/2026-04-14-vidtome
- 运动增强反向约束视频底座:sources/2026-04-14-camel-video-editing
- dynamic NeRF 表示路线:sources/2026-04-14-dynvideo-e
- 长视频修补对底座的约束:sources/2026-04-14-avid-video-inpainting
- 图像扩散迁移到视频编辑的前史:sources/2026-04-14-pix2video
- 一致性感知视频编辑对底座的要求:sources/2026-04-14-stablevideo
- creative-control 视频编辑侧压力测试:sources/2026-04-14-ccedit
- 借视频生成反向服务图像编辑:sources/2026-04-14-pathways-image-manifold
相关实体
- entities/diffusion-transformer 是当前视频生成批次里最稳定的主干架构抽象,尤其出现在可扩展性、可控性和长视频建模场景中。
证据基础
- sources/2026-04-12-lingen
- sources/2026-04-12-osv
- sources/2026-04-12-tora
- sources/2026-04-12-streamingt2v
- sources/2026-04-14-encapsulated-composition-t2i-t2v
- sources/2026-04-14-aigv-assessor
- sources/2026-04-14-motionstone
- sources/2026-04-14-sketchvideo
- sources/2026-04-14-video-bench
- sources/2026-04-14-evalcrafter
- sources/2026-04-14-rave-video-editing
- sources/2026-04-14-motioneditor
- sources/2026-04-14-pathways-image-manifold
- sources/2026-04-14-tune-a-video
- sources/2026-04-14-videocrafter2
- sources/2026-04-14-maskint
- sources/2026-04-14-framepainter
- sources/2026-04-14-insvie-1m
- sources/2026-04-14-reangle-a-video
- sources/2026-04-14-flowvid
- sources/2026-04-14-fairy-video-to-video
- sources/2026-04-14-vive3d
- sources/2026-04-14-neuro-symbolic-eval-t2v
- sources/2026-04-14-shape-aware-layered-video-editing
- sources/2026-04-14-motionfollower
- sources/2026-04-14-vidtome
- sources/2026-04-14-camel-video-editing
- sources/2026-04-14-dynvideo-e
- sources/2026-04-14-avid-video-inpainting
- sources/2026-04-14-pix2video
- sources/2026-04-14-stablevideo
- sources/2026-04-14-qk-edit
- sources/2026-04-14-ccedit
后续值得追踪的问题
- 长视频生成里,线性复杂度路线和记忆增强路线,哪条最终更占优?
- 一步式方法在复杂运动和时序连贯性上能否真正站稳?
- 除了显式轨迹,还有没有更自然的人机运动控制接口?