LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

NoPoSplat稀疏无外参图像的统一参考系高斯重建

阅读原论文

一句话结论

给定稀疏RGB与各视图内参,NoPoSplat把逐像素高斯直接预测到第一视图的相机坐标系;在作者重叠分桶的RE10K两视同表中,平均PSNR 25.033对MVSplat 23.977。这个优势依赖训练时真值位姿、默认MASt3R初始化和测试时目标图像参与的位姿对齐;无输入外参适用于重建网络的推断接口(ICLR正式PDF pp.4–7 §§3–4、Table1;p.17 Table7)。

任务、输入与方法

共享ViT逐视编码图像patch和内参token,跨视注意力交换信息;DPT中心头和带RGB shortcut的参数头为每视H×W预测中心、不透明度、尺度、旋转、SH颜色,统一存于首视相机坐标系。目标相机相对位姿用于NVS渲染;输入间相对位姿由高斯中心建立对应,经PnP-RANSAC和200步光度细化求得。训练用带COLMAP相机的视频目标RGB进行MSE+0.05 LPIPS可微渲染;默认MASt3R中心头/骨干初始化含先前的深度监督,替代初始化配置还含DUSt3R点云蒸馏1000步(pp.4–6 Fig.3、Eq.1;p.7 §4;p.17 Table7)。因此纯光度损失描述主训练阶段,前置教师、相机建库和目标视角数据须分账。

主结果、消融与反证

  • RE10K在256²、两输入视图、按RoMa匹配定义重叠分桶时:小重叠PSNR 22.514对MVSplat 20.353,平均25.033/.838/.160对23.977/.811/.176(PSNR/SSIM/LPIPS)。ACID小重叠23.087对21.392、平均25.961/.781/.189对25.512/.773/.196;ACID大重叠pixelSplat 28.426、本法28.043。每测试视频采一个输入对和三个目标帧,RE10K桶场景1403/2568/1630、ACID 249/644/448;以视频/场景作为独立单位(p.7 Tables1–2,p.15附录A)。
  • RE10K同骨干消融:无内参23.543、add24.952、dense-ray24.809、token25.033;无RGB shortcut24.279,先局部变换再融合24.632;三输入视图26.619改变输入预算。多视各自训练,二至六视PSNR25.033→26.826,四视后增益有限(p.10 Table5、p.19 Fig.10)。
  • 姿态ScanNet-1500的AUC5°/10°/20°:RE10K训练本法.264/.473/.655低于RoMa .270/.492/.673,RE10K+DL3DV混合训练本法.318/.538/.717;跨域改善随训练数据变化(p.8 Table3)。附录Table8印刷MASt3R加输入pose Yes为25.033/.838/.160、No为25.080/.844/.158,和正文“pose提升”文字方向相反;保留表文冲突,避免单独归因(p.17 Table8)。

评测与成本边界

测试时用真值目标RGB优化目标相机位姿以对齐NVS评价;15ms为RTX4090双图256²的高斯前馈预测,另有约2秒/对的200步输入位姿细化,渲染、预处理和目标对齐应各自记录(p.6 §3.5、p.9 §4.1、p.16附录A)。附录报告256²训练8×GH200约6小时;单A6000 48GB约90小时取得25.018 PSNR,512²用16×GH200约一天。训练视频各抽2.4M图像对,混合DL3DV训练步数翻倍;峰显存、完整端到端推断成本与GT网格几何指标未统一报告(pp.15–16附录A、p.20 §D)。两视未见区域细节和静态场景限制应进入失败集合。作者代码仓库固定审计commit a097a78c5bdd0486493f74abb1165614d86ae952,代码MIT;数据与权重许可另核。该轮复用完整25页正式PDF、逐页证据和独立分析,没有执行GPU复现;原provided Oral仅为项目页声明,正式Proceedings确认Conference,track待官方核验。

证据关联

3DGS研究专题;MVSplat:匹配代价体驱动的前馈三维高斯、pixelSplat:从已标定图像对前馈预测三维高斯、Uni3R:无外参多视图的几何与语言语义联合高斯、WildSplat:无位姿野外照片的外观条件高斯、DepthSplat:单目先验与多视匹配互促深度及高斯重建。进一步同条件实验应冻结内参扰动、RoMa分桶、目标RGB可见权限、MASt3R教师、训练数据和场景划分,并将几何GT、RGB画质与总成本分项验收。详细定位见raw/ingest/2026-09-25-noposplat/analysis.md及page-evidence.md。