LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-10-08

Generative Sparse-View Gaussian Splatting

Read the paper

English translation pending — this page shows the Chinese original.

一句话结论

在已知相机的少视角输入下,交替优化生成伪图与高斯可提升静态和多机位动态画质;真实几何和完整效率尚未由实验确认。

正式身份与阅读范围

CVF CVPR2025正式主会pp.26745–26755,三位作者与主文及补充首页、Crossref DOI 10.1109/CVPR52734.2025.02491一致;Crossref出版日期2025-06-10。正式CVF主文11页与官方补充3页均完整读取,原始表格核对。CVF说明除水印外等同接受版本,IEEE最终出版文件未做字节比对。本轮直接读取正常HTTPS官方主文/补充,没有使用作者预印本恢复例外;仅筛选、纳入和全文深读各一篇。

任务与方法

输入图像及已知相机位姿,用稀疏训练图的运动恢复结构(SfM)点云初始化,静态用3DGS,动态用SpacetimeGS。伪相机在真实相机间插值,逐场优化而非无位姿前馈,也不等于文字直接生成三维场景(pp.2–4、p.6)。

先从真实稀疏图训练粗GS,再渲染训练及伪视图;用场景图适配扩散模型低秩模块(LoRA),通过单目深度条件生成伪图,回用于GS训练,循环更新。补充明确底座为SDXL,原权重和深度T2I-Adapter冻结,学习的是LoRA。伪图是生成先验,不是新增实拍证据,可能把早期几何错误带回训练(pp.3–5、补充p.1)。

伪渲染按相机外参变换到训练视角,与真实图的扩散中间特征匹配,约束跨视语义;DPT单目深度和GS渲染深度归一化后用多尺度结构相似性(MS-SSIM)正则。DPT深度是估计,不是几何真值;语义对应也未量化证明遮挡或真实表面正确(pp.5–6 Eqs.6–11)。

数据与画质结果

Blender八物体,每场八训练视图、25测试图;LLFF八场,每八张取一张测试,从其余均匀选三张训练;Mip-NeRF360九场、24训练视图,采用相同测试选取规则。下表仅比较同论文内部设置(p.6 Table1)。

数据与训练视数本法PSNR ↑FSGS ↑本法SSIM ↑FSGS ↑本法LPIPS ↓FSGS ↓
Blender,八视28.5724.640.9230.8950.0550.095
LLFF,三视24.8220.310.7370.6520.1050.288
Mip-NeRF360,24视25.8723.700.7450.6930.1820.293

均值提升明显,但未提供逐场量化表、多种子置信区间、真实深度/网格误差或同先验同计算预算对照。PSNR、SSIM、LPIPS验证图像质量,不能直接转写为“真实几何更准”。

动态实验:机位数与图片数不同

Neural 3D Video六个室内序列,18–21同步机位;第一机位测试,从其余取训练机位。三机位包含多个时刻的视频帧,不是只给三张照片,也没有独立未见时间评测(pp.6–8 Table2)。

同步训练机位本法PSNR ↑SpacetimeGS ↑PSNR差值 ↑
三个27.1314.9812.15 dB
六个29.2025.154.05 dB
九个30.2126.723.49 dB

作者p.7称视数增加时差距持续扩大,但表内PSNR差值实际缩小。两法绝对画质都提高,不能把更多视图的绝对收益当相对收益变大。本法额外SDXL/DPT及适配成本没有配平;只有一个动态底座,没有运动真值、定量时间一致性或长期新对象结果。

消融与反证范围

设置LLFF PSNR ↑Mip-NeRF360 PSNR ↑原文定位
无扩散伪图17.4320.89p.8 Table3
扩散但无几何感知适配22.7123.23p.8 Table3
无深度正则24.0925.28p.8 Table3
完整模型24.8225.87p.8 Table3

支持组合有效,不是同耗时全因子消融,无法把全部收益归某个模块。补充LLFF三/六/九视的本法PSNR为24.82/26.87/28.12,相对FSGS的优势同样随视数缩小(补充p.1 Table1)。未给伪图数、LoRA rank/特征层、扩散采样步数或几何权重敏感性。

效率与可复现限制

只报告整个流程10,000迭代,未给显卡、墙钟/GPU小时、显存、模型大小、渲染FPS或SfM/DPT/LoRA/采样分项。LoRA步数与GS迭代的对应也未完整说明,摘要“不牺牲效率”没有完整成本表支持;冻结SDXL参数仍有生成和适配开销(p.6、补充p.1)。

论文、官方补充和CVF页未提供可核实实现仓库/数据包链接,本次未确认代码可用性,不推断永久未开源。补充提及动态视频,但官方页面只列两份PDF,本次未获得或观看该视频。未安装环境、下载权重或做GPU复现;原PDF/全文/表图保持内部,CVF版权说明不当CC BY。

综合判断与下一步

先配平真实输入图数、相机、初始化、预训练先验和完整预算,再分别开关伪图、LoRA、跨视特征和深度正则,验证留出视角、真实几何及动态时间一致性。若同预算简单深度正则效果相近,生成贡献应缩小;若图像变锐利而几何退化,则拒绝“更真实”的结论。

原始链接

相关页面