一句话结论
Pix2Video 冻结 depth-conditioned Stable Diffusion，用 anchor+previous self-attention feature injection 和推理期 latent gradient update 把图像编辑传播到短视频；它是 training-free video-to-video editing，不是从单张图生成运动，也不是“无优化成本”。
输入、输出与方法
- 输入源视频、目标文本，并逐帧估计 MiDaS depth；第一帧作为 anchor edit。
- 每帧先 DDIM inversion，再顺序编辑。
- 当前帧 query 保持自身特征，key/value 读取第一帧与前一已编辑帧；anchor 防长期遗忘，previous 保局部连续。
- 50 个去噪步的前 25 步，对当前与前一帧预测 clean latent 的 $L_2$ 距离求梯度并更新 latent。
- 输出保持输入长度和原运动结构的编辑视频；不生成新动作或新时长。
数据、指标与人评
- DAVIS 视频，长度 50–82 帧，输出 $512\times512$；主文未披露完整视频数。
- 用户研究为 10 视频 × 2 edits，37 人，每 pair 平均 11 人。
- CLIP-Text 测 prompt 对齐；CLIP-Image 测相邻帧 embedding 相似；RAFT warp 后 Pixel-MSE 测像素时序误差。
- 基线：Jamriška flow propagation、Text2Live、SDEdit、Tune-A-Video；协议并非完全同长度，Tune-A-Video 只生成 24 帧。
主要结果
| 方法 | CLIP-Text ↑ | CLIP-Image ↑ | Pixel-MSE ↓ |
|---|---|---|---|
| Jamriška et al. | 0.2684 | 0.9838 | 44.62 |
| Text2Live | 0.2679 | 0.9806 | 72.57 |
| Tune-A-Video | 0.2691 | 0.9674 | 1190.62 |
| SDEdit | 0.2775 | 0.8731 | 2324.29 |
| Pix2Video w/o update | 0.2893 | 0.9740 | 371.18 |
| Pix2Video | 0.2891 | 0.9767 | 228.62 |
Pix2Video 的优势是文本对齐和无需参数微调，不是所有时序指标最优。用户研究定性图显示语义符合与总体偏好优势，但论文文本未提供精确百分比和显著性。
消融与成本
- 去掉 latent update 后 Pixel-MSE 228.62→371.18、CLIP-Image 0.9767→0.9740，支持推理期优化改善一致性代理指标。
- anchor only、previous only 或 random previous 都有结构/闪烁问题；anchor+previous 定性最好。
- all-layer injection 的 Pixel-MSE 200.70 更低，但更模糊、CLIP-Text 略差，因此主方法只注入 decoder。
- 无参数训练；但需逐帧 inversion、50-step sampling 与前 25 步梯度更新。A100、batch 1，inversion 后约 5 秒/帧，不含一次性 inversion。
关键局限
- 评测集总视频数与 prompt 分布不透明，长度只到 82 帧。
- 顺序 previous-frame 链会积累误差，距离 anchor 过远时退化。
- depth 保护结构，也限制极端 shape edit。
- CLIP-Image 与 Pixel-MSE 不能直接证明动作忠实；也可能奖励较静态输出。
- “training-free”把成本转移到 inversion、逐帧多步采样和 latent optimization。
对当前 Wiki 判断的影响
- 对 视频编辑：是图像扩散先验迁移到视频执行的早期关键证据。
- 对 图像编辑：说明图像编辑能力可通过跨帧 feature reuse 扩展，但时序需额外机制。
- 对 视频生成：只属于底座迁移背景，不是 image-to-video generation。
- 对 视频编辑理解 与 benchmark 问题：证明执行系统的 CLIP/warp 指标难以回答模型是否理解动作或编辑意图。
证据评级
B-（早期短视频编辑执行的中等直接证据；对视频编辑理解为 C）。