LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

Diff4Splat视频扩散生成可变形高斯场

阅读原论文

#near-cvpr-2025#3d-vision#gaussian-splatting#video-generation#diffusion#primary-source

一句话结论

CVPR 2026从单图、指定相机轨迹与可选文字生成可变形3DGS，作者报告30秒场景构建，比较的45分钟基线先生成视频再逐场重建；32×A100七天训练与30步扩散采样是完整成本账的关键（主文pp.4234–4238 Tables1–4；补充pp.1–3）。

输入、监督与机制

CogVideoX潜空间模型按相机射线/文字生成视频latent，16层LDRM回归高斯，10维时变位置/旋转/尺度实现动态渲染；训练有流匹配、RGB+LPIPS、深度相关性及合成真值或CoTracker伪轨迹运动损失（主文§3 Eq.1–5）。40K低清静态、40K高清静态、20K动态渐进训练；真实数据以视频深度先验、MegaSaM和少量人工尺度锚得到“metric”近似，非普遍独立几何真值（补充p.1）。单次前馈意指测试场景免梯度拟合，扩散实际30步去噪。

主表与反方

  • 作者160样本=32场景×五轨迹（主文p.4237）：Table1本法FVD210.153、KVD2.316、QA2.813、30秒，对AC3D+Mosca 235.961/2.012/2.842/45分钟；KVD与QA由两阶段基线占优，直接AC3D视频仅28秒但无同等显式4D。
  • p.4238 Table2平均匹配5114.22 vs Mosca4500.68、主体一致88.32 vs86.23、背景一致89.89 vs90.43；Table3相机RPE .012/.008对AC3D 3.001/.810须固定单位与估姿程序，匹配数不代替GT 3D几何。
  • p.4238 Table4去运动损失FVD351.382、完整210.153；补充p.3 Table3作者同环境联合训练210.2、冻结LDRM231.5、两阶段4DGT245.3；50K图元折中，100K显存+75%、推断+60%（补充§6）。

资源与相关页面

官方13页主文与4页补充、逐表审计见raw/ingest/2026-09-25-diff4splat/；作者MIT仓库代码可访问，预训练权重/策划数据可用性与测试时峰显存仍待核；未GPU训练或复现。三维高斯泼溅：表示、优化、几何与动态任务将其单图条件生成与MoVieS：有位姿单目视频的前馈动态高斯与运动建模已知相机单目视频动态重建分开，按源视频、相机轨迹和3D真值报告分母。

元数据
{
  "id": "2026-09-25-diff4splat",
  "type": "source",
  "title": "Diff4Splat：视频扩散生成可变形高斯场",
  "title_en": "Diff4Splat: Repurposing Video Diffusion Models for Dynamic Scene Generation",
  "summary_en": "Single-image, camera-conditioned 4D Gaussian generation with 30 denoising steps and substantial pretrained compute.",
  "status": "reviewed",
  "note_status": "reviewed",
  "created": "2026-09-25",
  "updated": "2026-09-25",
  "source_type": "paper",
  "venue": "CVPR 2026",
  "authors": "[Panwang Pan, Chenguo Lin, Chenxin Li, Jingjing Zhao, Yuchen Lin, Haopeng Li, Yunlong Lin, Kairun Wen, Yixuan Yuan, Yadong Mu]",
  "published_at": "2026-06-01",
  "ingested_at": "2026-09-25",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2026/html/Pan_Diff4Splat_Repurposing_Video_Diffusion_Models_for_Dynamic_Scene_Generation_CVPR_2026_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2026/papers/Pan_Diff4Splat_Repurposing_Video_Diffusion_Models_for_Dynamic_Scene_Generation_CVPR_2026_paper.pdf",
    "https://openaccess.thecvf.com/content/CVPR2026/supplemental/Pan_Diff4Splat_Repurposing_Video_CVPR_2026_supplemental.pdf",
    "https://github.com/paulpanwang/Diff4Splat"
  ],
  "raw_entry": "raw/ingest/2026-09-25-diff4splat/",
  "topics": "[topics/3d-gaussian-splatting]",
  "entities": [],
  "claims": [],
  "questions": [],
  "tags": [
    "near-cvpr-2025",
    "3d-vision",
    "gaussian-splatting",
    "video-generation",
    "diffusion",
    "primary-source"
  ]
}