一句话结论
Tora 以 OpenSora v1.2 ST-DiT 为基础，把轨迹压缩成与视频 latent patch 同构的多层 motion condition，再用 adaptive norm 注入 temporal DiT blocks；它直接证明 DiT 可作为视频轨迹控制的可组合底座，但不证明 DiT 已是所有视频任务的默认主干。
论文定位
Tora 的关键创新不是首次做轨迹控制，而是解决“frame-level 位移如何与跨多帧 DiT patch 对齐”。它是 视频生成 的显式运动控制 anchor，也是 DiT 可扩展条件接口的直接案例。
问题定义
文本能描述场景，却难规定对象的精确路径。既有 UNet 轨迹控制方法通常只生成 16 帧、固定低分辨率，扩展后出现漂移和变形。Tora 要在可变时长 ST-DiT 中同时接入文本、图像与轨迹（PDF pp.1–3）。
方法概述
ST-DiT 底座
OpenSora 交替使用 Spatial/Temporal DiT blocks；视频经 autoencoder 压缩为 $L/4\times H/8\times W/8\times4$ latent 后 patchify，T5 文本经 cross-attention 注入（PDF pp.4–5）。
Trajectory Extractor
- 逐帧轨迹转 flow map，Gaussian filter 缓解稀疏散点；
- flow 可视化为 RGB；
- 3D motion VAE 做 8×空间、4×时间压缩，与视频 latent 对齐；
- 同 patch size + 残差卷积生成各层 motion patches（PDF p.5）。
Motion-guidance Fuser
比较 channel concat、cross-attention、adaptive norm；默认用零初始化 adaptive norm 预测 scale/shift，调制对应 DiT hidden state（PDF p.5，Figure 4）。训练先 dense optical flow 2 epochs，再 sparse trajectories 1 epoch，并只训练 temporal blocks、TE 与 MGF（PDF pp.2, 6）。
实验设置
- OpenSora v1.2 初始化；144p–720p、51–204 帧。
- Adam，学习率 $2\times10^{-5}$，8×A100；30 sampling steps，guidance 7.0（PDF p.6）。
- Panda-70M 10M 子集、Mixkit、Pexels、internal videos，经筛选后约 630K 视频。
- 自建 185 clips benchmark；指标 FVD、CLIPSIM、TrajError（生成与目标轨迹平均 L1 距离；PDF p.6）。
核心实验与结果
| 方法（128 帧） | FVD ↓ | CLIPSIM ↑ | TrajError ↓ |
|---|---|---|---|
| MotionCtrl（UNet） | 731 | 0.2331 | 38.39 |
| OpenSora（无轨迹输入） | 533 | 0.2411 | 373.17 |
| OpenSora-based DragNUWA | 565 | 0.2393 | 21.75 |
| Tora | 494 | 0.2418 | 11.72 |
来源：PDF p.7，Table 1。相对 MotionCtrl，128 帧 TrajError 约低 3.3×，FVD 约低 32%；正文“3–5× / 30–40%”是跨多 UNet baseline 的区间概括。OpenSora 无轨迹条件，因此最有判定力的对照是同一底座上的 DragNUWA 适配版。
论文最高展示 204 frames、720p 的轨迹控制输出（PDF p.8，Conclusion），证明控制模块可随基础 DiT 扩展，但不等同于分钟级或长程叙事能力。
关键消融
- 轨迹压缩：sampling / average pooling / 3D VAE 的 FVD 581/558/513，TrajError 27.61/20.97/14.25（PDF p.7，Table 2）。
- 融合：extra channel / cross-attention / adaptive norm 的 FVD 542/526/513，TrajError 21.07/18.36/14.25（PDF p.7，Table 3）。
- 注入位置：MGF 放在 Temporal DiT block，将 TrajError 从 23.39 降到 14.25（PDF p.8）。
- 训练策略：dense / sparse / hybrid 的 FVD 601/556/513，TrajError 39.34/24.73/14.25（PDF p.8，Table 4）。
- CogVideoX 2B/5B 变体随模型与训练量增加降低误差，但变量同时变化，不能视为纯 scaling law（PDF p.8，Figure 7）。
局限或疑问
- 需要额外轨迹输入；控制更强，但交互成本高于纯文本。
- 依赖 optical flow、motion segmentation、camera filtering；遮挡、镜头运动和复杂多对象交互仍困难。
- 185 clips 为作者自建 benchmark，规模小，缺少独立复现。
- 与 UNet baseline 的基础模型、数据、分辨率并非完全受控；其长视频使用 sequential inference。
- 204 帧/720p 不证明长程叙事、物理因果或身份一致性已经解决。
对当前 Wiki 判断的影响
对 DiT / Transformer 主干 claim 的分类是：直接支持，但限定于“DiT 可作为视频控制扩展底座”。
它明确采用 OpenSora ST-DiT，并证明 latent-aligned TE+MGF 能跨 block、跨模型规模复用；但它不统计采用率、不比较 SSM/Mamba，也不能证明 DiT 是默认或唯一最优主干。