来源笔记 · 更新于 2026-09-25
pixelSplat从已标定图像对前馈预测三维高斯
阅读原论文 ↗
一句话结论
共享网络由两张有相机参数的图像前馈生成显式高斯,结合极线深度尺度编码与可反传的桶概率—透明度路径,省去测试场景逐场优化;训练需要跨场景预训练且推断前仍需相机标定(CVPR正文pp.19457–19464、官方补充§7/9)。
输入与方法
RealEstate10K/ACID视频的两参考RGB+SfM内外参,预测每像素离散逆深度分布、偏移及高斯属性。极线注意力在跨图对应上注入场景相机尺度;实际每像素抽三粒高斯(正文Alg.1简化为一粒),将抽中桶概率分配为opacity再用可微渲染损失反传(主文§4 Eq.2–8、补充§7.1)。测试新场景编码一次,之后每帧快速渲染,仍存在未观测内容缺口。
结果与成本
- 主文Table1 p.19462:ACID 28.27/.843/.146、RealEstate10K 26.09/.863/.136(PSNR/SSIM/LPIPS),优于作者统一loader重训的Du/GPNR/pixelNeRF;单次编码.102s、逐帧渲染.002s。该表14.4GB是标准化单场/256×256射线的训练显存外推;补充p.1§7.1报告真实batch7、300k步约80GB单卡显存和DINO预训练特征。
- 去极线/去深度编码/去概率采样的RE10K PSNR 19.89/24.97/24.62,对照完整26.09;深度额外正则50k步后25.28并伴几何可视改善(主文Table2 p.19464、Fig.4)。
- 反光物透明、域外视角呈billboard,两个输入视图高斯仅取并集未去重,更多视图极线注意力很耗内存(主文p.19463、补充§9)。图像分数不能用作GT几何准确性证据。
版本与相关
CVF正式11页加8页补充,代码MIT;独立证据与口径审计:raw/ingest/2026-09-25-pixelsplat/analysis.md。与MVSplat作同数据和同位姿对照;后者表中的pixelSplat重测分数略异于本文主表,比较以同表为准。
证据关联
3DGS研究专题;MVSplat:匹配代价体驱动的前馈三维高斯、3DGS as MCMC:用高斯重定位改写密度控制。逐页审计见raw/ingest/2026-09-25-pixelsplat/analysis.md。
元数据
{
"id": "2026-09-25-pixelsplat",
"type": "source",
"title": "pixelSplat:从已标定图像对前馈预测三维高斯",
"status": "reviewed",
"note_status": "reviewed",
"created": "2026-09-25",
"updated": "2026-09-25",
"source_type": "paper",
"venue": "CVPR 2024",
"authors": "[David Charatan, Sizhe Lester Li, Andrea Tagliasacchi, Vincent Sitzmann]",
"published_at": "2024-06-01",
"ingested_at": "2026-09-25",
"canonical_links": [
"https://openaccess.thecvf.com/content/CVPR2024/html/Charatan_pixelSplat_3D_Gaussian_Splats_from_Image_Pairs_for_Scalable_Generalizable_CVPR_2024_paper.html",
"https://openaccess.thecvf.com/content/CVPR2024/papers/Charatan_pixelSplat_3D_Gaussian_Splats_from_Image_Pairs_for_Scalable_Generalizable_CVPR_2024_paper.pdf",
"https://openaccess.thecvf.com/content/CVPR2024/supplemental/Charatan_pixelSplat_3D_Gaussian_CVPR_2024_supplemental.pdf",
"https://github.com/dcharatan/pixelsplat"
],
"raw_entry": "raw/ingest/2026-09-25-pixelsplat/",
"topics": "[topics/3d-gaussian-splatting]",
"entities": [],
"claims": [],
"questions": [],
"tags": [
"near-cvpr-2025",
"3d-vision",
"gaussian-splatting",
"primary-source"
]
}