一句话结论
StableVideo 用 Neural Layered Atlas 固定跨帧几何对应，再在关键帧间传播扩散编辑并聚合回前景 atlas；它在少量 DAVIS 短视频上降低 Tune-A-Video 的时序偏差，但证据集中于单个量化案例，且一致性主要来自 atlas 映射，不是视频理解。
输入、输出与方法
- 输入自然视频和前景/背景 prompt；输出同长度的对象外观、背景、组合或风格编辑视频。
- NLA 提取前景/背景 atlas、逐帧 UV 映射与 opacity；MiDaS depth 控背景，Canny/ControlNet 控前景结构。
- 第一关键帧独立编辑；后续帧经共享 partial atlas 继承前一帧外观，再加噪/去噪补全新可见区域。
- 两层卷积 aggregation network 将 partial atlases 合成完整前景 atlas，以关键帧重建 $L_1$ 训练。
- 任务是 appearance/style video-to-video editing；运动与镜头来自源视频，不生成新动作，也不测语言推理。
数据、指标与人评
- DAVIS 若干视频，每个 50–70 帧，$768\times432$；前景 atlas $2000\times2000$。论文未报告确切视频/prompt 总数。
- Farneback dense-flow difference 测源运动相似；CLIP 测文本；LPIPS-P/T 测源帧偏差和相邻帧偏差。
- 论文没有正式用户研究、参与人数或偏好比例。
- 定量集中在
car-turn，重复次数、标准差和置信区间未披露。
主要结果
| 方法 | 光流差-前景 ↓ | 光流差-组合 ↓ | CLIP ↑ | LPIPS-P ↓ | LPIPS-T ↓ |
|---|---|---|---|---|---|
| Text2LIVE | 1.99 | 7.39 | -- | -- | -- |
| Tune-A-Video | 4.63 | 12.74 | 0.2787 | 0.6346 | 0.1851 |
| StableVideo | 3.34 | 11.48 | 0.2713 | 0.1613 | 0.0386 |
StableVideo 比 Tune-A-Video 更稳定，但光流一致性不如 Text2LIVE、CLIP 略低。它的贡献是内容丰富度—一致性折中，不是所有指标最优。
消融与成本
- 直接编辑扭曲 atlas 会让 diffusion 产生畸变；关键帧编辑更稳，但只有定性证据。
- random/fixed-latent/sequential generation 都不如 partial-atlas inter-frame propagation，主要是定性比较。
- 噪声强度 $t_0\approx0.8$ 是外观忠实与真实感的经验 sweet spot。
- DDIM 20 steps；单张 A40，正文报告约 10GB、30 秒/视频，但是否含 NLA/aggregation 前处理不清楚。
- aggregation network 的参数量、训练数据/步数/时间，以及 NLA 前处理时间均未报告；正文称 2D conv，图注又称 3D network。
关键局限
- 大幅非刚性形变会使 NLA mapping 失败；人/动物也受图像扩散底座能力限制。
- 视频短、总数不透明；无长视频、镜头切换、复杂遮挡与多实例身份测试。
- 低 LPIPS 可能奖励“少编辑”，Farneback flow 不是动作语义或轨迹指标。
- 无人评、统计显著性、identity/locality 或遮挡后恢复指标。
- “StableVideo”是 atlas 辅助 Stable Diffusion 编辑，不是 Stable Video Diffusion 模型。
对当前 Wiki 判断的影响
- 对 视频编辑：是 atlas correspondence + image diffusion 的一致性路线。
- 对 扩散模型：说明 frozen image prior 仍需外部几何传播器才能稳定处理视频。
- 对 视频编辑理解 与 benchmark 问题：LPIPS/flow 稳定不代表对象身份或编辑意图理解。
证据评级
C+（小规模短视频外观编辑的直接证据；对视频编辑理解为 C-/无直接推理证据）。