来源笔记 · 更新于 2026-09-25
Splatent潜空间高斯的新视角参考视图补细节
阅读原论文 ↗
一句话结论
在已知位姿的多视图latent 3DGS渲染后,用三张参考图潜变量组成网格,通过单步扩散二维补偿跨视图不一致所丢高频。DL3DV-10K稠密PSNR21.94 vs LRF20.19;系统成本包括400场微调8张H100约24小时(CVF主文pp.5–7 Tables1–3)。
问题与方法
固定VAE将有相机多视图编码为降采样8倍的latent,逐场优化具有latent特征的3DGS;目标相机先渲染粗latent,基于相机接近度取三张训练视角latent,2×2网格送入Stable Diffusion Turbo单步修复,再用固定VAE解码。训练以目标latent L2、解码RGB L2和LPIPS联合监督;前馈MVSplat360分支还需端到端微调SVD 25k步,故不是仅插入免训练插件(主文pp.3–6 Fig.2/Eqs.1–7、p.8 §5.5;补充p.3 Fig.8)。SD/SDXL/FLUX latent在跨视图高频上均有平均抵消现象(补充pp.1–2 Figs.6/9),二维修复和严格3D一致性是不同命题。
数据、结果与反证
DL3DV训练集剔除与140个benchmark场景重叠者;Mip九场、LLFF八场跨域,稠密30视(LLFF每场1/8)、稀疏5视,余图测试。主文p.6 Table1:DL3DV稠密21.94/.692/.265/FID35.60 vs LRF20.19/.619/.322/75.32;稀疏17.44/.573/.429/86.12 vs LRF15.34/.488/.494/204.36。Mip稀疏PSNR16.701、LPIPS .501、FID127.93;并非无条件高保真。主文p.7 Table2 MEt3R稠密.0774、稀疏.0998,LRF分别.1082/.1272。无参考视图PSNR19.47、1视21.61、3视21.94、5视21.96(Table3)。主文p.8 Table4给MVSplat360 5视PSNR16.691→17.976、LPIPS .431→.378;同时多25k训练步。补充p.3 Table6对SEVA稠密PSNR20.42 vs17.36但LPIPS .364 vs .360略差,不作跨扩散方法所有指标最优声明。
资源、局限与相关页面
补充p.4单H100报告6.3GB、330ms加50ms解码;MVSplat360整链原80s再增5s,统计单位与逐场3DGS优化和8×H100训练分开。补充p.1 Table4跨注意力可减少内存,但PSNR21.29低于网格21.94;低噪不足、高噪容易幻觉(补充p.2)。代码仓库存在,GitHub许可证为Other/NOASSERTION,具体许可需核正文;不声称GPU复现。与MVSplat前馈RGB重建、iLRM迭代几何和Diff4Splat单图视频生成区分任务/相机/训练账。分析及完整正式PDF保存在raw/ingest/2026-09-25-splatent/;总览三维高斯泼溅:表示、优化、几何与动态任务。published_at月初占位。
元数据
{
"id": "2026-09-25-splatent",
"type": "source",
"title": "Splatent:潜空间高斯的新视角参考视图补细节",
"status": "reviewed",
"note_status": "reviewed",
"created": "2026-09-25",
"updated": "2026-09-25",
"source_type": "paper",
"venue": "CVPR 2026",
"authors": "[Or Hirschorn, Omer Sela, Inbar Huberman-Spiegelglas, Netalee Efrat, Eli Alshan, Ianir Ideses, Frederic Devernay, Yochai Zvik, Lior Fritz]",
"published_at": "2026-06-01",
"ingested_at": "2026-09-25",
"canonical_links": [
"https://openaccess.thecvf.com/content/CVPR2026/html/Hirschorn_Splatent_Splatting_Diffusion_Latents_for_Novel_View_Synthesis_CVPR_2026_paper.html",
"https://openaccess.thecvf.com/content/CVPR2026/papers/Hirschorn_Splatent_Splatting_Diffusion_Latents_for_Novel_View_Synthesis_CVPR_2026_paper.pdf",
"https://openaccess.thecvf.com/content/CVPR2026/supplemental/Hirschorn_Splatent_Splatting_Diffusion_CVPR_2026_supplemental.pdf",
"https://github.com/orhir/Splatent"
],
"raw_entry": "raw/ingest/2026-09-25-splatent/",
"topics": "[topics/3d-gaussian-splatting]",
"entities": [],
"claims": [],
"questions": [],
"tags": [
"near-cvpr-2025",
"3d-vision",
"gaussian-splatting",
"diffusion",
"primary-source"
]
}