一句话结论
DIVE 用 DINOv2 特征将“源视频动作 correspondence”和“目标主体身份注册”接入 SD1.5，在 30-video 自建集合上显著提升身份、时序和用户偏好；它证明了专用主体替换 pipeline 的可行性，但逐视频/逐身份优化和小规模代理评测限制了通用结论。
论文定位
给定源视频，再用 3–5 张参考图或目标主体文本指定新身份，DIVE 输出“新主体执行源动作、背景尽量不变”的视频。它是主体替换，不是开放式视频编辑；其关键变量是换身份、保动作、保背景。
输入、输出与保留目标
- 输入：源视频；目标身份参考图或文本。
- 输出：目标身份替换源主体的视频。
- 要保留：源动作轨迹和背景。
- 要移除：源主体外观，避免与目标身份混合。
- 边界：对象/动物主体替换；不覆盖动作重写、场景重构或多轮指令。
方法概述
- Temporal motion modeling：DINOv2 ViT-g/14 提取源视频语义特征，PCA + threshold 隔离前景，四组 MLP 投影到 U-Net encoder scales；只在高噪声半程、前景 mask 内优化。
- Identity registration：对 3–5 张目标参考图提取 DINO 前景特征并训练 LoRA，注册目标身份。
- Inference：逐帧 DDIM inversion；注入 motion MLP 和 identity LoRA；用 P2P 前景 mask latent blending 保护背景。
- 文本模式跳过 identity registration，只替换 prompt 中主体词。
相比 flow/depth 的 dense correspondence，DINO 特征更有部件语义；相比 VideoSwap，无需人工 semantic points。
数据与训练预算
- DAVIS + 互联网整理 30 个视频，每个 16 帧、stride 4。
- $512\times512$ 或 $512\times896$；8 个目标 identity 类，每类 3–5 张图。
- Stage 1：50–100 iterations，学习率 $5\times10^{-4}$。
- Stage 2：800–1000 iterations，学习率 $10^{-4}$。
- 50-step inversion + 50-step denoising；单张 RTX 3090。
- 未报告 wall-clock、总 GPU-hours、参数量和显存。
核心实验与结果
参考图驱动
DIVE：Text Alignment 29.43、Image Alignment 84.27、Temporal Consistency 92.33、Overall Video Quality 0.775、50 人用户偏好 65.6%。所选基线 Overall 最高 0.683，用户偏好最高 13.2%。
文本驱动
DIVE：Text 32.29、Temporal 95.89、Overall 0.614、用户偏好 52.8%；对应基线最高为 31.57、95.35、0.588、19.9%。
CLIP temporal similarity 能测部分闪烁，却不能直接证明动作轨迹与源视频一致；论文也未报告背景像素保持、遮挡或长视频 identity drift。
关键消融
完整 DINO motion guidance（$\lambda=1$）为 29.43 / 84.27 / 92.33 / 0.775；$\lambda=0$ 时为 28.78 / 79.50 / 87.24 / 0.581。无 DINO identity guidance 时 Image Alignment 77.36、Overall 0.722；加入后为 84.27、0.775。
DINO 对动作/身份 proxy 均有效，但“无 DINO”运动变体也改变了 motion module 是否训练，并非单一控制变量。
局限或疑问
- 仅 30 个视频、8 类目标身份、16 帧窗口。
- 每个源视频需 50–100 次优化，每个参考身份需 800–1000 次 LoRA 训练。
- PCA foreground 与 P2P mask 对遮挡、相似多实例、小目标较脆弱。
- 缺少动作轨迹误差、背景 preservation、runtime 和多随机种子。
- 用户研究未给统计显著性与完整 protocol。
对当前 Wiki 判断的影响
- 直接支持 视频编辑 中主体驱动编辑已成为独立路线。
- 对 图像编辑 与 图像生成 是个性化技术迁移到视频的相邻证据。
- 对 统一图像模型能否持续保持优势 是专用、多阶段 pipeline 的压力测试，不是统一模型的受控反证。
- 对 现有 benchmark 是否跟踪真实视频编辑理解 表明 CLIP 指标难分离身份、动作和背景保持。
证据评级
B（窄任务中的中等直接证据；对真实视频编辑理解为 C+）。它直接执行并评测主体替换，但小型自建集合、逐实例优化和 proxy metrics 不足以证明通用主体/动作理解。