LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

Splatent潜空间高斯的新视角参考视图补细节

阅读原论文

一句话结论

在已知位姿的多视图latent 3DGS渲染后,用三张参考图潜变量组成网格,通过单步扩散二维补偿跨视图不一致所丢高频。DL3DV-10K稠密PSNR21.94 vs LRF20.19;系统成本包括400场微调8张H100约24小时(CVF主文pp.5–7 Tables1–3)。

问题与方法

固定VAE将有相机多视图编码为降采样8倍的latent,逐场优化具有latent特征的3DGS;目标相机先渲染粗latent,基于相机接近度取三张训练视角latent,2×2网格送入Stable Diffusion Turbo单步修复,再用固定VAE解码。训练以目标latent L2、解码RGB L2和LPIPS联合监督;前馈MVSplat360分支还需端到端微调SVD 25k步,故不是仅插入免训练插件(主文pp.3–6 Fig.2/Eqs.1–7、p.8 §5.5;补充p.3 Fig.8)。SD/SDXL/FLUX latent在跨视图高频上均有平均抵消现象(补充pp.1–2 Figs.6/9),二维修复和严格3D一致性是不同命题。

数据、结果与反证

DL3DV训练集剔除与140个benchmark场景重叠者;Mip九场、LLFF八场跨域,稠密30视(LLFF每场1/8)、稀疏5视,余图测试。主文p.6 Table1:DL3DV稠密21.94/.692/.265/FID35.60 vs LRF20.19/.619/.322/75.32;稀疏17.44/.573/.429/86.12 vs LRF15.34/.488/.494/204.36。Mip稀疏PSNR16.701、LPIPS .501、FID127.93;并非无条件高保真。主文p.7 Table2 MEt3R稠密.0774、稀疏.0998,LRF分别.1082/.1272。无参考视图PSNR19.47、1视21.61、3视21.94、5视21.96(Table3)。主文p.8 Table4给MVSplat360 5视PSNR16.691→17.976、LPIPS .431→.378;同时多25k训练步。补充p.3 Table6对SEVA稠密PSNR20.42 vs17.36但LPIPS .364 vs .360略差,不作跨扩散方法所有指标最优声明。

资源、局限与相关页面

补充p.4单H100报告6.3GB、330ms加50ms解码;MVSplat360整链原80s再增5s,统计单位与逐场3DGS优化和8×H100训练分开。补充p.1 Table4跨注意力可减少内存,但PSNR21.29低于网格21.94;低噪不足、高噪容易幻觉(补充p.2)。代码仓库存在,GitHub许可证为Other/NOASSERTION,具体许可需核正文;不声称GPU复现。与MVSplat前馈RGB重建、iLRM迭代几何和Diff4Splat单图视频生成区分任务/相机/训练账。分析及完整正式PDF保存在raw/ingest/2026-09-25-splatent/;总览三维高斯泼溅:表示、优化、几何与动态任务。published_at月初占位。