一句话结论
在有相机参数的单图/两图生成中,把高斯约束放入视频扩散的特征空间能改善跨视几何一致性,但图像分布质量可能下降;深度监督和逐场精修带来的额外收益需要分别计账。
身份与证据范围
正式题名为 *Generative Gaussian Splatting: Generating 3D Scenes with Video Diffusion Priors*。IEEE/Crossref DOI 10.1109/ICCV51701.2025.02554记录ICCV2025 proceedings、三作者及pp.27510–27520;官方主会节目册PDF p.66 poster268与题名/作者相符。published_at为Crossref出版记录日期。
全文使用作者公开arXiv:2503.13272v1(2025-03-17),18页含参考文献和附录。以下页/表全部指这个版本,它与出版最终版的差异尚未核对。首次CVF入口HTTP403已保存且未重试;正式身份核验与作者全文阅读分开完成。项目图像仅为次级定性材料。
问题定义与输入输出
输入是单张或两张静态室内RGB参考图,参考与待生成视角均需要相机内参和外参。输出先是补视视频及特征高斯,再经图像空间decoder得到可从新视角渲染的RGB高斯场;它补全未观测内容,不能保证真实场景几何,也不是无位姿重建(pp.3–5,Fig.2)。
方法与机制
Plücker相机编码进入预训练I2V U-Net;参考latent无噪声、目标latent加噪。末段特征经极线注意力预测逐像素高斯,把三维约束放在特征空间以保留v-prediction。训练还监督六个额外新视图,深度可用时约束反投影中心。最后冻结骨干,在无噪声下训练图像空间3Ddecoder;可选Splatfacto精修5000步。自回归把累积高斯渲染作为后续条件,但五视示例仅属定性验证(pp.3–5、8、12–13,Figs2/6/11)。
主结果与比较条件
这是作者同表自报值,没有GPU复现。单图视频评价通常256×256;TSED检查匹配点极线一致性,FID/FVD衡量图像/视频分布,两者都不等于真实表面误差。
| 单图ScanNet++设置 | PSNR ↑ | LPIPS ↓ | FID ↓ | FVD ↓ | TSED ↑ | 原文定位 |
|---|---|---|---|---|---|---|
| 内部对照No3D | 17.1 | .351 | 80.4 | 436.4 | .596 | p.6 Table1 |
| GGS | 18.0 | .317 | 81.8 | 455.5 | .896 | 同表 |
| GGS+depth | 18.4 | .309 | 81.9 | 441.9 | .899 | 同表 |
| ViewCrafter单次生成 | 18.3 | .280 | 74.5 | 437.5 | .871 | 同表 |
GGS相对No3D的一致性变好,FID和FVD却变差;相对ViewCrafter也并非所有质量指标更好。RE10K同表No3D→GGS的TSED .984→.992,但LPIPS .272→.277。两参考插值RE10K的pixelSplat PSNR23.9高于GGS22.9和depth23.7(p.6 Tables1–2)。
| 单图3D输出,RE10K | FID ↓ | FVD ↓ | 原文定位 |
|---|---|---|---|
| No3D | 57.8 | 582.0 | p.7 Table3 |
| GGS+depth | 56.3 | 498.3 | 同表 |
| GGS+depth+5000步FT | 47.3 | 403.9 | 同表及p.13精修协议 |
Table3标题为Single Image to3D,邻近段落讨论两图;按表题登记,两图结果另见附录Table5。较大FID改善包含深度监督和精修,不是高斯模块单项增益。两图RE10K精修FID57.4→47.6,同时FVD440.6→468.4退化(p.14 Table5)。
数据、消融与反证
训练含10k RE10K视频、1513 ScanNet扫描和约95k内部合成场景;测试128 RE10K场景/50 ScanNet++扫描。ScanNet++用真值深度筛选至少50%重叠目标,困难低重叠情形不在该分母。3D输出评价改用576×320插入视角;不能与直接视频表混算。场景级区间、多种子显著性未完整提供(pp.5–6、13)。
75k步消融中移除新视损失使RE10K插值PSNR22.5→19.6、TSED .977→.868,支持多视约束的作用;移除特征空间同时改为x0-prediction,不能单独证明预测参数化因果。图像空间decoder进一步提高TSED却恶化FID/LPIPS,约束强弱存在取舍(p.8 Table4)。长自回归、户外、反光和真实GT几何仍待系统验证。
成本与复现边界
专有约2B参数I2V骨干配约200M pose encoder和1.5M decoder。训练使用8张A10080GB,先100k步再800k步约两周;推断30 Euler步,另有可选逐场5000步精修。完整推断延迟、实际峰显存、骨干预训练和数据准备卡时未充分报告,卡容量不能当作最小显存要求(pp.12–13)。
存档作者项目未见完整公开可运行仓库/权重入口,内部训练数据和专有骨干限制独立复现。arXiv公开稿标CC BY4.0,不能代替模型和数据许可。未下载权重、训练或调用付费服务。
相关页面与状态
- 三维高斯泼溅:表示、优化、几何与动态任务:扩展任务中区分生成一致性、分布质量与真实几何。
- Diff4Splat:视频扩散生成可变形高斯场:视频先验生成时变4D,本篇为静态3D,协议和指标分母不同。
- pixelSplat:从已标定图像对前馈预测三维高斯:已知相机的稀疏前馈重建对照,训练预算不同。
- 3D Gaussian Splatting Evidence Matrix:版本、原表、反证和完整成本边界。
已核对作者v1完整全文、主要表格与正式出版身份,来源状态reviewed;最终出版稿差异仍待查。内部analysis.md、18行page-evidence.md及原件提供证据追踪,公开上线状态另由部署收据记录。