LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-09-25

pixelSplat从已标定图像对前馈预测三维高斯

Read the paper

English translation pending — this page shows the Chinese original.

一句话结论

共享网络由两张有相机参数的图像前馈生成显式高斯,结合极线深度尺度编码与可反传的桶概率—透明度路径,省去测试场景逐场优化;训练需要跨场景预训练且推断前仍需相机标定(CVPR正文pp.19457–19464、官方补充§7/9)。

输入与方法

RealEstate10K/ACID视频的两参考RGB+SfM内外参,预测每像素离散逆深度分布、偏移及高斯属性。极线注意力在跨图对应上注入场景相机尺度;实际每像素抽三粒高斯(正文Alg.1简化为一粒),将抽中桶概率分配为opacity再用可微渲染损失反传(主文§4 Eq.2–8、补充§7.1)。测试新场景编码一次,之后每帧快速渲染,仍存在未观测内容缺口。

结果与成本

  • 主文Table1 p.19462:ACID 28.27/.843/.146、RealEstate10K 26.09/.863/.136(PSNR/SSIM/LPIPS),优于作者统一loader重训的Du/GPNR/pixelNeRF;单次编码.102s、逐帧渲染.002s。该表14.4GB是标准化单场/256×256射线的训练显存外推;补充p.1§7.1报告真实batch7、300k步约80GB单卡显存和DINO预训练特征。
  • 去极线/去深度编码/去概率采样的RE10K PSNR 19.89/24.97/24.62,对照完整26.09;深度额外正则50k步后25.28并伴几何可视改善(主文Table2 p.19464、Fig.4)。
  • 反光物透明、域外视角呈billboard,两个输入视图高斯仅取并集未去重,更多视图极线注意力很耗内存(主文p.19463、补充§9)。图像分数不能用作GT几何准确性证据。

版本与相关

CVF正式11页加8页补充,代码MIT;独立证据与口径审计:raw/ingest/2026-09-25-pixelsplat/analysis.md。与MVSplat作同数据和同位姿对照;后者表中的pixelSplat重测分数略异于本文主表,比较以同表为准。

证据关联

3DGS研究专题;MVSplat:匹配代价体驱动的前馈三维高斯、3DGS as MCMC:用高斯重定位改写密度控制。逐页审计见raw/ingest/2026-09-25-pixelsplat/analysis.md。