一句话结论
VideoCrafter2 证明，在 SD-based 3D U-Net 上，先用低质量视频全量联合训练空间/时间模块，再用高质量合成图像只微调空间模块，可以显著提升画质与概念组合并较好保住运动；这是“数据质量 + 模块耦合 + 训练接口”的联合证据，不是 DiT 趋势证据。
论文定位
论文处理公开视频数据不足下的高质量 T2V 训练。它不是新 Transformer/DiT backbone，而是围绕 Stable Diffusion 膨胀出的 factorized 3D U-Net，研究 full/partial training 如何改变空间—时间模块对后续图像微调的耐受性。
问题定义
WebVid-10M 片段丰富、单镜头，但多数约 320p；商业模型依赖无法公开获得的高质量视频。作者问：不使用高质量视频，能否让低质视频负责 motion、高质图像负责 appearance 与 concept composition，从而得到通用高质量 T2V 模型？
方法概述
1. Full vs partial training
- Full：视频训练时同时更新 spatial 与 temporal modules。
- Partial：冻结 SD spatial modules，只训练 temporal modules。
- 同一架构/数据下，用 JDB 图像对 spatial/temporal 模块做 LoRA 扰动；partial base 画质更容易迁移，但运动快速变静或闪烁，full base 更能容忍参数变化。
作者据此推断 full training 形成更强 spatial-temporal coupling。这里的“耦合强”是扰动后的行为解释，不是直接表示量测。
2. 两阶段数据层解耦
- WebVid-10M + LAION-COCO 对视频模型做 full training；
- 用 JDB/JourneyDB 高质量图像直接微调 spatial modules only，冻结 temporal modules。
Direct spatial-only 在画质—运动折中上优于 LoRA、temporal-only 或 spatial+temporal 联调；后者虽画质接近，但会产生 foreground/background flash。
3. 合成图像迁移概念组合
第二阶段用约 400 万张 Midjourney 合成图的 JDB，而不是只依赖 web 真实图。作者希望把强 T2I 模型的复杂概念组合能力迁到视频模型。
架构、数据与训练
- 主干：SD 2.1 初始化的 latent video diffusion / factorized 3D U-Net，沿用 VideoCrafter1 并加入 ModelScope temporal convolution。
- Base：WebVid-10M 约 1,000 万 text-video pairs；LAION-COCO 6 亿 image-caption pairs 防 concept forgetting。
- Quality finetune：JDB 约 400 万 Midjourney 图像；LAION Aesthetics V2 作图像数据对照。
- Base 训练：32×A100、270K iterations、batch 128、$5\times10^{-5}$、512×320。
- Finetune：8×A100、30K iterations、batch 256、512×512。
核心实验与结果
EvalCrafter 四维结果
| 模型 | Visual | T/V Alignment | Motion | Temporal |
|---|---|---|---|---|
| PikaLab | 63.52 | 54.11 | 57.74 | 69.35 |
| Gen2 | 67.35 | 52.30 | 62.53 | 69.71 |
| VideoCrafter1 | 61.64 | 66.76 | 56.06 | 60.36 |
| Show-1 | 52.19 | 62.07 | 53.74 | 60.83 |
| AnimateDiff | 58.89 | 74.79 | 51.38 | 56.61 |
| VideoCrafter2 | 63.28 | 64.67 | 53.95 | 62.02 |
VideoCrafter2 的 visual 接近 Pika、超过 VideoCrafter1；T/V alignment 较强但非第一；motion 只略高 Show-1/AnimateDiff，明显落后商业模型；temporal 优于开源对照但落后 Pika/Gen2。它证明的是画质迁移并未造成大幅运动崩坏，不是四维全面 SOTA。
50-prompt 专家偏好
“选择 VideoCrafter2”的概率：
| 对手 | T/V | Motion | Visual |
|---|---|---|---|
| Gen2 | 56% | 46% | 34% |
| AnimateDiff | 55% | 64% | 69% |
| Show-1 | 59% | 59% | 82% |
| VideoCrafter1 | 61% | 63% | 61% |
50 prompts、3 位视频制作专家；未报告置信区间。对 Gen2 的 motion/visual 明显落后，因此“媲美商业模型”只能作部分维度与质化判断。
关键消融
Full/partial base 与扰动
- P-base DOVER Aesthetic/Technical：34.32/42.69；F-base：46.55/51.76。
- P-Spa-LoRA：78.25/72.74；F-Spa-LoRA：77.97/59.60。
- 但 motion preference：F-Spa-LoRA 胜 P-Spa-LoRA 87%；F-Temp-LoRA 胜 P-Temp-LoRA 73%。
Partial base 更容易迁移画质，full base 的运动更耐扰动；两类证据共同支撑论文的耦合解释。
微调模块选择
- F-Spa-DIR：82.57/70.35
- F-Temp-DIR：82.77/65.34
- F-Spa&Temp-DIR：83.59/67.75
- F-Spa&Temp-LoRA：80.44/63.61
- F-Spa-DIR 相对 F-Spa&Temp-DIR 的 motion preference：67%
Spatial+temporal 联调 aesthetic 略高，但 spatial-only technical 更高、运动更稳，因此最终选择是质量—运动折中。
图像数据选择
- JDB F-Spa-DIR：82.57/70.35
- LAION F-Spa-DIR：67.83/54.26
JDB 在该协议下显著领先，但图像来源、合成性、caption、审美与分布同时变化，不能把差异唯一归因于“合成图像”。
局限或疑问
- 结论只在一种 SD-based factorized 3D U-Net 上验证，不能自动外推到 DiT/MM-DiT、flow matching 或 autoregressive 模型。
- “耦合强度”由扰动后画质/运动行为推断，没有独立的表示或梯度量化。
- Full training 更新更多参数，未做同算力/同参数预算控制。
- WebVid、LAION-COCO、JDB 同时改变质量、规模、caption、风格和合成性，数据因素没有完全解耦。
- JDB 会继承 Midjourney 的审美、伪影及数据 provenance 风险。
- 只测短 T2V；没有长叙事、复杂物理、音频或镜头切换。
- 商业模型的训练数据、规模、采样设置未知，比较不能支持架构因果结论。
- 用户研究仅 50 prompts、3 experts，缺显著性与标注一致性。
- 使用同团队 EvalCrafter；后者对轻微稳定运动存在偏好，应由独立 benchmark 复核。
对当前 Wiki 判断的影响
| 页面/命题 | 证据分类 | 影响 |
|---|---|---|
| 视频生成 | 直接支持 | 低质视频、高质图像、full-training 耦合与 spatial-only finetuning共同决定画质—运动折中 |
| 生成模型评测 | 中性案例/压力测试 | 同一模型画质接近商业系统但 motion 落后，不能压成“高质量”单总分 |
| DiT 主干趋势 | 当前不应引用 | 本文去噪器是 SD-based 3D U-Net，不是 DiT；原 source 的 DiT entity/claim 关联已撤销 |
| 评测是否刻画真实视频编辑理解 | 背景/中性案例 | 只有生成输出质量，无源视频、编辑指令、preserve/change 或编辑成功率 |
证据边界：本文支持“数据质量与训练接口共同影响视频质量”，不支持“数据比架构更重要”，也不能用其 EvalCrafter 分数推断视频编辑理解能力。
证据评级
- SD-based 视频生成训练策略：A-。有同架构 full/partial 诊断、模块选择和图像数据对照。
- 生成评测主题：C / 使用案例。使用 EvalCrafter，不提出新评测协议。
- DiT claim：不应引用。