LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-09-25

MVSplat匹配代价体驱动的前馈三维高斯

Read the paper

English translation pending — this page shows the Chinese original.

一句话结论

以相机几何平面扫描的跨视图匹配代价体预测深度,再反投影为高斯中心;在两视256²、已标定照片与同表比较中改善pixelSplat的外观、速度及模型规模,跨域能力仍受绝对画质和反光失败限制(ECCV主文§3–5、Tables1–3)。

输入与机制

训练用跨场景视频、预训练UniMatch骨干、相机内外参,推断两视为主可扩展K视。128个逆深度平面warp特征构建代价体,二维U-Net修复匹配和深度,softmax深度反投影;opacity由匹配置信度预测,颜色/协方差来自图像特征。仅RGB L2+0.05 LPIPS本任务监督,输入相机标定和UniMatch预训练仍属依赖(pp.5–7 Eq.2–6,补充§A/C)。

主要结果与反证

  • RE10K主表同设置PSNR/SSIM/LPIPS:26.39/.869/.128 vs pixelSplat25.89/.858/.142;ACID28.25/.843/.144 vs28.14/.839/.150;端到端.044s vs .104s、模型12.0M vs125.4M(主文p.8 Table1,分拆p.10)。pixelSplat自己CVPR报告RE10K26.09、ACID28.27,跨表数值须留版别差。
  • 去匹配代价体从base26.12降22.83;完整含depth refinement26.39,不能把完整—去代价体差值全归单模块;去cross-attention25.19选最佳步而非末步(p.12 Table3/官方补充Fig.A)。补充p.1 Table A在pixelSplat外壳换深度支路25.89→26.63 PSNR。
  • RE10K→DTU zero-shot 13.94 PSNR,pixelSplat12.89,两者绝对画质低;图示高斯看起来更干净尚无GT mesh定量(主文p.11 Table2/Fig.4)。反光/非朗伯表面失败(主文p.14,补充Fig.B)。

成本与证据

单A100训练300k步、batch14,完整墙钟/峰值显存未报告;默认UniMatch预训练,随机初始化450k步才接近默认300k的质量(补充Table D/§C)。输出1粒/像素相对pixelSplat实际3粒/像素,延迟取决图元数(补充Table C)。本地正式17页+6页补充及独立分析raw/ingest/2026-09-25-mvsplat/analysis.md;代码MIT许可,无GPU复现。

证据关联

3DGS研究专题;pixelSplat:从已标定图像对前馈预测三维高斯、2D Gaussian Splatting:用三维中的二维高斯圆盘重建表面。逐页审计见raw/ingest/2026-09-25-mvsplat/analysis.md。