一句话结论
LinGen 从视频 DiT 框架出发，以 Mamba2 + 局部 Temporal Swin Attention 的 MATE block 替换全局 self-attention，在 512p 68s 下相对 DiT-4B 降低 15× FLOPs、11.5×实测延迟，并保持相当质量；它既继承 DiT 框架，也暴露标准 attention-DiT 的长序列边界。
论文定位
LinGen 是 视频生成 中“每步架构效率”路线的代表。它与采样蒸馏正交：不是减少 denoising steps，而是降低每一步处理海量视频 token 的成本。
对 DiT 谱系的关键区分是：LinGen 保留 flow matching、文本 cross-attention、视频 latent pipeline 等框架，但替换 global self-attention 核心算子，因此是混合/边界证据。
问题定义
视频 DiT 的 global self-attention 随 token 数平方增长，使 10–20 秒以上、高分辨率生成昂贵。论文要把复杂度改为随总像素/token 数线性增长，并在单 GPU 上达到 68s、1088 raw frames（PDF pp.1, 6–8）。
方法概述
MATE 含两支（PDF pp.3–5）：
- MA-branch：bidirectional Mamba2 做长程建模；RMS 在层间轮换时/空主扫描顺序，减少 3D 展平后的邻接破坏；review tokens 先注入池化全局概览。
- TE-branch：固定 3D 小窗口 TESA，覆盖空间短程与时间中程相关；窗口固定，因此总复杂度对全局 token 数线性。
系统仍保留文本 cross-attention 与局部 window attention，不能写成“完全无 attention”。训练从 256p T2I 渐进到 512p T2V、17→34→68s，并混合图像/视频训练、用 3K 高质量视频 fine-tune（PDF p.5）。
实验设置
- LinGen-4B：32 层、20 heads、hidden 2560；DiT-4B：32 层、24 heads、hidden 3072（PDF p.5）。同为 4B 级，但并非逐层等宽。
- 数据：300M Shutterstock 图文对 + 24M 视频文本对；3K 视频 quality tuning（PDF p.6）。
- latency 在单 H100 测量；质量采用 A/B 人评和 VBench-Long。
核心实验与结果
效率
| 512p 时长 | FLOPs 加速 | latency 加速 | 定位 |
|---|---|---|---|
| 17s | 5× | 2.0× | PDF p.6，Figure 6 |
| 34s | 8× | 3.9× | 同上 |
| 68s | 15× | 11.5× | 同上 |
17s 从 512p 提升到 768p 时，latency 加速从 2.0× 增到 3.6×（PDF p.6）。FLOPs 与 latency 必须分开报告。
质量
- 对 DiT-4B，人评 overall quality 胜率 75.59%，overall alignment 76.76%，motion naturalness 64.85%（PDF p.8，Figure 8）。
- 对 Gen-3/LumaLabs/Kling，人评胜率约 50.5%/52.1%/49.1%；论文称方差约 3%，应理解为“相当”而非显著领先（PDF p.8，Figure 9）。
- VBench-Long：LinGen Quality 81.76、Semantic 73.73、Total 26.32，接近 Gen-3 82.32/75.17/26.69 与 Kling 81.85/75.68/26.42；最大 raw frames 为 1088，高于 256/313/408（PDF p.7，Table 1）。
关键消融
- TESA 与 RMS 改善质量/loss；RMS 与 Zigzag 质量近似，但 512p 17s latency 为 102s vs Zigzag 144s（PDF p.8，Table 2 / Figure 11）。
- 默认 102s；去 TE branch 94s，去 scan 99s，用 Mamba 替代 Mamba2 127s，去 review token 98s，去 MA branch 65s（PDF p.8，Table 2）。
- Mamba2 比 Mamba 快约 25%，质量近似；完全移除 MA branch 虽更快但质量严重恶化（PDF p.8）。
- quality tuning、hybrid training、review tokens 的人评消融均有收益，但论文未给完整置信区间，证据弱于硬件延迟表。
局限或疑问
- 300M 图像对 + 24M 视频对，复现成本极高。
- DiT-4B 与 LinGen-4B hidden/head 配置不同，非严格等参逐模块对照。
- 商业模型对比无法控制数据、规模、采样和 prompt pipeline。
- 68s/1088 frames 不等于长程叙事、物理一致性已经解决。
- hour-length、实时交互是 Conclusion 的未来展望，不是已验证能力（PDF p.8）。
对当前 Wiki 判断的影响
对 DiT / Transformer 主干 claim 的分类是：混合/边界证据。
它支持 DiT 作为可继承、可改造的视频生成框架；同时证明标准 global attention 不是分钟级视频的最终可扩展答案。后续综合应区分“DiT 框架采用”与“Transformer attention 核心算子保留”。