LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-07-12

Tune-A-Video单样本调优图像扩散模型做文本到视频生成

#near-cvpr-2025#video-generation#primary-source

Tune-A-Video：单样本视频调优与结构反演

会议：ICCV 2023
全文深读：analysis.md

一句话结论

Tune-A-Video 把 Stable Diffusion/LDM 的 convolutional U-Net 扩展到时空域，只用一个 32-frame source video 做 500-step attention tuning，再以 DDIM inversion 保留 source motion；单视频约 10 分钟训练、1 分钟采样。它是图像 prior 迁移到视频的早期锚点，同时明确属于 U-Net 路线。

方法

  • 2D convolution inflation 为 $1\times3\times3$；
  • 加入 temporal self-attention；
  • Sparse ST-Attention：第 $i$ 帧 query 只访问第一帧与前一帧的 key/value；
  • 复杂度从 full attention 的 $O((mN)^2)$ 降至 $O(2mN^2)$；
  • 只更新 ST-Attn $W^Q$、新增 temporal-attention 和 cross-attention query projection；
  • 对 source video 做一次无文本 DDIM inversion，edited prompt 从该 noise 起点采样。

数据与协议

  • DAVIS 42 个 source videos；
  • BLIP-2 自动生成 source caption；
  • 人工设计 140 个 edited prompts；
  • 每视频 32 帧、512×512；
  • 500 steps，learning rate $3\times10^{-5}$，batch 1；
  • 单张 A100：约 10 分钟 fine-tuning、1 分钟 sampling；
  • user study 每例 5 人，多数票。

核心结果

方法Frame consistency CLIP ↑Text faithfulness CLIP ↑
CogVideo90.6423.91
Plug-and-Play88.8927.56
Tune-A-Video92.4027.58

用户偏好：

  • Frame consistency：相对 CogVideo 87.86%，相对 Plug-and-Play 62.14%；
  • Text faithfulness：相对 CogVideo 85.00%，相对 Plug-and-Play 76.43%。

CogVideo 是纯文本 T2V，Plug-and-Play 是逐帧编辑，Tune-A-Video 使用 source video、per-video tuning 与 inversion。输入和预算差异意味着主表属于系统比较，不能做单因素归因。

消融与边界

Figure 8 只提供定性消融：

  • 去掉 ST-Attn：内容跨帧不一致；
  • 去掉 inversion：难复制 source motion；
  • 去掉 fine-tuning：内容保持，但运动闪烁；
  • 完整系统结合三项。

局限：

  • 多对象、遮挡和交互会导致对象混合；
  • source dynamics 主要靠 inversion 复制，未证明可组合运动建模；
  • 每个视频都需要约 10 分钟 tuning；
  • 32 帧不覆盖长视频、多镜头和叙事；
  • frame-pair CLIP consistency 可能奖励低运动输出；
  • user study 每例仅 5 人，未报告显著性；
  • 论文采用 Stable Diffusion/LDM convolutional U-Net，出现 attention block 不代表 DiT。

对当前 Wiki 判断的影响

Tune-A-Video 建立“统一图像生成底座 + per-video temporal adapter + inversion”的早期模板。它同时支持基础模型复用价值与专用时序/反演工具的持续必要性。

其 benchmark 评估 output consistency 和 prompt similarity，没有覆盖 source preserve/change、unintended change、编辑依据推理、多步计划或工作流成功率，因此属于视频编辑执行的历史证据。

证据评级

  • One-shot video tuning：A- 历史锚点
  • Source-guided video generation/editing：B+
  • Unified foundation platform：B
  • Video-editing understanding：C / 背景
  • DiT adoption：不支持

原始材料

  • raw/ingest/2026-04-14-tune-a-video/paper.pdf（11 页）
  • raw/ingest/2026-04-14-tune-a-video/paper-text.md（727 行）
  • raw/ingest/2026-04-14-tune-a-video/analysis.md

相关页面

Metadata
{
  "id": "2026-04-14-tune-a-video",
  "type": "source",
  "title": "Tune-A-Video（ICCV 2023）：单样本调优图像扩散模型做文本到视频生成",
  "status": "reviewed",
  "created": "2026-04-14",
  "updated": "2026-07-12",
  "venue": "ICCV 2023",
  "ingested_at": "2026-04-14",
  "tags": [
    "near-cvpr-2025",
    "video-generation",
    "primary-source"
  ],
  "note_status": "reviewed",
  "source_type": "paper",
  "authors": [
    "Jay Zhangjie Wu",
    "Yixiao Ge",
    "Xintao Wang",
    "Stan Weixian Lei",
    "Yuchao Gu",
    "Yufei Shi",
    "Wynne Hsu",
    "Ying Shan",
    "Xiaohu Qie",
    "Mike Zheng Shou"
  ],
  "published_at": "2023-01-01",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/ICCV2023/html/Wu_Tune-A-Video_One-Shot_Tuning_of_Image_Diffusion_Models_for_Text-to-Video_Generation_ICCV_2023_paper.html",
    "https://openaccess.thecvf.com/content/ICCV2023/papers/Wu_Tune-A-Video_One-Shot_Tuning_of_Image_Diffusion_Models_for_Text-to-Video_Generation_ICCV_2023_paper.pdf"
  ],
  "raw_entry": "raw/ingest/2026-04-14-tune-a-video/",
  "analysis_note": "raw/ingest/2026-04-14-tune-a-video/analysis.md",
  "topics": [
    "topics/video-generation",
    "topics/diffusion-models"
  ],
  "entities": [],
  "claims": [],
  "questions": [
    "questions/question-do-benchmarks-track-real-video-editing-understanding",
    "questions/question-will-unified-image-models-sustain-their-advantage"
  ]
}