LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-10-02

Generative Gaussian Splatting视频先验与三维一致性的取舍

阅读原论文

一句话结论

在有相机参数的单图/两图生成中,把高斯约束放入视频扩散的特征空间能改善跨视几何一致性,但图像分布质量可能下降;深度监督和逐场精修带来的额外收益需要分别计账。

身份与证据范围

正式题名为 *Generative Gaussian Splatting: Generating 3D Scenes with Video Diffusion Priors*。IEEE/Crossref DOI 10.1109/ICCV51701.2025.02554记录ICCV2025 proceedings、三作者及pp.27510–27520;官方主会节目册PDF p.66 poster268与题名/作者相符。published_at为Crossref出版记录日期。

全文使用作者公开arXiv:2503.13272v1(2025-03-17),18页含参考文献和附录。以下页/表全部指这个版本,它与出版最终版的差异尚未核对。首次CVF入口HTTP403已保存且未重试;正式身份核验与作者全文阅读分开完成。项目图像仅为次级定性材料。

问题定义与输入输出

输入是单张或两张静态室内RGB参考图,参考与待生成视角均需要相机内参和外参。输出先是补视视频及特征高斯,再经图像空间decoder得到可从新视角渲染的RGB高斯场;它补全未观测内容,不能保证真实场景几何,也不是无位姿重建(pp.3–5,Fig.2)。

方法与机制

Plücker相机编码进入预训练I2V U-Net;参考latent无噪声、目标latent加噪。末段特征经极线注意力预测逐像素高斯,把三维约束放在特征空间以保留v-prediction。训练还监督六个额外新视图,深度可用时约束反投影中心。最后冻结骨干,在无噪声下训练图像空间3Ddecoder;可选Splatfacto精修5000步。自回归把累积高斯渲染作为后续条件,但五视示例仅属定性验证(pp.3–5、8、12–13,Figs2/6/11)。

主结果与比较条件

这是作者同表自报值,没有GPU复现。单图视频评价通常256×256;TSED检查匹配点极线一致性,FID/FVD衡量图像/视频分布,两者都不等于真实表面误差。

单图ScanNet++设置PSNR ↑LPIPS ↓FID ↓FVD ↓TSED ↑原文定位
内部对照No3D17.1.35180.4436.4.596p.6 Table1
GGS18.0.31781.8455.5.896同表
GGS+depth18.4.30981.9441.9.899同表
ViewCrafter单次生成18.3.28074.5437.5.871同表

GGS相对No3D的一致性变好,FID和FVD却变差;相对ViewCrafter也并非所有质量指标更好。RE10K同表No3D→GGS的TSED .984→.992,但LPIPS .272→.277。两参考插值RE10K的pixelSplat PSNR23.9高于GGS22.9和depth23.7(p.6 Tables1–2)。

单图3D输出,RE10KFID ↓FVD ↓原文定位
No3D57.8582.0p.7 Table3
GGS+depth56.3498.3同表
GGS+depth+5000步FT47.3403.9同表及p.13精修协议

Table3标题为Single Image to3D,邻近段落讨论两图;按表题登记,两图结果另见附录Table5。较大FID改善包含深度监督和精修,不是高斯模块单项增益。两图RE10K精修FID57.4→47.6,同时FVD440.6→468.4退化(p.14 Table5)。

数据、消融与反证

训练含10k RE10K视频、1513 ScanNet扫描和约95k内部合成场景;测试128 RE10K场景/50 ScanNet++扫描。ScanNet++用真值深度筛选至少50%重叠目标,困难低重叠情形不在该分母。3D输出评价改用576×320插入视角;不能与直接视频表混算。场景级区间、多种子显著性未完整提供(pp.5–6、13)。

75k步消融中移除新视损失使RE10K插值PSNR22.5→19.6、TSED .977→.868,支持多视约束的作用;移除特征空间同时改为x0-prediction,不能单独证明预测参数化因果。图像空间decoder进一步提高TSED却恶化FID/LPIPS,约束强弱存在取舍(p.8 Table4)。长自回归、户外、反光和真实GT几何仍待系统验证。

成本与复现边界

专有约2B参数I2V骨干配约200M pose encoder和1.5M decoder。训练使用8张A10080GB,先100k步再800k步约两周;推断30 Euler步,另有可选逐场5000步精修。完整推断延迟、实际峰显存、骨干预训练和数据准备卡时未充分报告,卡容量不能当作最小显存要求(pp.12–13)。

存档作者项目未见完整公开可运行仓库/权重入口,内部训练数据和专有骨干限制独立复现。arXiv公开稿标CC BY4.0,不能代替模型和数据许可。未下载权重、训练或调用付费服务。

相关页面与状态

已核对作者v1完整全文、主要表格与正式出版身份,来源状态reviewed;最终出版稿差异仍待查。内部analysis.md、18行page-evidence.md及原件提供证据追踪,公开上线状态另由部署收据记录。