LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-10-18

AnySplat从未标定照片直接预测高斯与相机

阅读原论文

一句话结论

AnySplat用预训练几何模型同时预测场景高斯和每张照片的相机内外参,减少部署时的标定与逐场景拟合。它能处理稀疏到密集照片,但优势依赖预训练、评测相机对齐和是否后优化;主表与固定测试控制都存在不领先的条件。

输入、输出与方法

输入同一静态场景的RGB照片集合,不要求用户提供内外参;输出高斯、相机参数、深度与置信度。第一张相机固定为单位坐标系,不代表已获得世界坐标和绝对尺度真值(作者稿p.3 §3.1)。它主要是新视角合成与相机估计模型,不能直接当作在线SLAM、语义系统或高精度表面重建。

流程为:照片经DINOv2/VGGT几何Transformer,分别由深度、相机和高斯头解码;深度用预测相机反投影为像素高斯中心,外观头预测其他属性;体素内按置信度softmax加权聚合,减少重叠图元(pp.4–5 Fig2、Eq4–7)。体素尺寸是模型坐标单位,不应解释成物理米。

训练在context图像上施加渲染损失,并把VGGT相机和深度作为伪监督,再对齐网络深度与高斯渲染深度;最高置信度区域用于稳定一致性约束(p.5 Eq8–11)。因此“不用真实3D标注”仍有几何教师和预训练知识,不等于从RGB零先验学习。

评测权限先说明

为计算新视角指标,论文会把context和target图像一起用于估计target相机并做尺度对齐;重建高斯本身的入口只用context图像(p.5 camera alignment、代码src/eval_nvs.py)。这比一个只收context并立即渲染任意已知目标相机的计时入口多了计算与目标图像权限,不能混称纯context端到端延迟,也不能仅据此指控target参与高斯训练。

密集基线3DGS和Mip-Splatting由VGGT标定及初始化,之后逐场优化;不同于给真值相机的标准榜单。主表不同输入视数会改变测试图集合,跨列不能直接证明“照片越多越好”;附录另做固定测试图控制(pp.6、14)。

主结果:快速重建有用,但不是每项都领先

作者稿p.6 Table1,同表内部比较;时间为场景重建而非每秒渲染帧数。

Mip-NeRF360 / 方法输入视数PSNR ↑SSIM ↑LPIPS ↓重建时间 ↓
NoPoSplat316.360.4300.4530.119 秒
AnySplat316.200.5500.3490.171 秒
NoPoSplat1615.470.3610.6061.198 秒
AnySplat1621.850.6700.2500.767 秒
3DGS(VGGT初始化)3222.190.6400.24810 分钟
AnySplat3222.310.6880.2471.4 秒
Mip-Splatting(VGGT初始化)6421.780.6380.29911 分钟
AnySplat6421.150.5890.2724.1 秒

怎么读:更多context下,AnySplat比稀疏前馈基线更稳,重建比逐场拟合快;但三视PSNR略差且更慢,密集64视也会牺牲PSNR和SSIM。VR-NeRF的48视PSNR同样低于3DGS;其他指标更好不能改写成全面领先。

作者稿p.14 Table7固定八个测试图后,比较更清楚:

同一固定测试集 / 方法32视 PSNR ↑48视 PSNR ↑64视 PSNR ↑
3DGS17.2518.6219.05
Mip-Splatting16.9518.3918.94
AnySplat16.5918.7219.57

AnySplat随视数增加改善,但32视仍低于两个对照。不要将该表画质与主表计时拼接成同预算结果。

后优化必须单独计时

作者稿p.8 Tables2–3:

任务 / 版本PSNR ↑SSIM ↑LPIPS ↓表中时间 ↓
Matrixcity 200视 / 直接前馈19.460.5740.44633 秒
同上 / 后优化1K步20.810.6350.5192 分钟
同上 / 后优化3K步21.640.6710.4217 分钟
Mip360 16视 / 直接前馈21.850.6700.2500.767 秒
同上 / 后优化1K步25.510.8130.1152 分钟
同上 / InstantSplat-VGGT23.380.6770.2683 分钟

后优化会显著增加时间。Matrixcity的1K步版本虽提高PSNR,LPIPS反而退化;最快前馈时间不能配上后优化最高画质。公开计时辅助只用Python墙钟与CUDA峰值统计,未统一固定预热、同步及峰值重置;图像准备、目标相机估计和导出成本不能自动纳入该表。

消融和几何结论的限度

作者稿p.8 Table5,Hypersim;原表δ1/AbsRel显示值的比例单位未明确,避免直接解释为真实表面误差。

版本PSNR ↑LPIPS ↓δ1 ↑(原表值)AbsRel ↓(原表值)高斯数 ↓
无蒸馏7.280.83275.514.74.80 M
无几何一致性18.200.28594.77.63.52 M
无可微体素17.770.30395.85.74.82 M
冻结AA层17.900.30696.55.33.51 M
完整18.250.27996.35.93.45 M

蒸馏影响很大;体素聚合减少图元且改善图质,但AbsRel不是最优,冻结AA版本还有更好的深度指标。因此不能将图质收益直接等同真实几何全面改善。部分一致性评测比较的是自身预测深度与渲染深度(pp.8、13 Fig8),需要外部真实几何另验。

相机估计用十帧,RE10K未见集AUC@5从VGGT56.9至57.9,CO3Dv2从31.2至39.2;两方法都使用过CO3D训练,两个结果的泛化含义不同(p.8 Table4)。

数据、训练成本与版本疑点

详细设置为九库混合训练、约886M参数、15K步、16张A800约两天,VGGT初始化并冻结图像patch embedding;输入长边最高448(p.6 §4.1)。引言称8–16卡“一日内”,与此不一致,按详细设置保留边界。不把“零样本”推理解释为没有预训练成本。

附录列Mip360四个室内场景与VR-NeRF四场,却称合计七场;没有据此扩写成标准九场Mip360结论。主表与附录测试集合也不同。数据实际manifest、图像/标注包未下载,场景计数冲突未擅自修正。

Fig5 p.9的显存曲线针对渲染阶段,不能代表Transformer前馈、相机重估或后优化的全链峰值。主文未充分说明计时GPU及全部边界;没有独立GPU复现、误差条或显著性验证。

实现与许可

官方实现审计固定提交5f5e208a7dd57d52e43ea0d553a95eab526e8775。公开推理入口仅收图像、模型预测相机;评测入口另有target相机分支和对齐;后优化是独立可选流程。此处只做静态源码与配置审阅,未运行模型、下载权重或训练数据。

当前示例配置并非论文配方的逐项复现:训练步数为30K而论文写15K,两示例深度蒸馏权重也不同;teacher mask取大于0.3分位,通常保留约70%,与论文top30%不同,数据valid_mask还可覆盖该mask。体素实现先round/int/unique硬归桶,再连续加权聚合,可微性有此边界。

仓库和AnySplat权重标MIT,VGGT上游权重卡另标CC-BY-NC-4.0;不能将整个依赖链概括为MIT。作者arXiv元数据与PDF版权页分别保留,未据此扩大到所有数据或最终出版文件的再分发权。

失败与下一步

作者稿pp.14–15 Fig10记录光照变化、瞬态遮挡、反光、动态公交和自行车细杆伪影。静态前馈高斯没有显式建模这些因素,也没有证明语义分割、动态跟踪或真实表面精度。

与SPFSplat比较前要先配平内参、预训练与目标相机权限;与FreeSplatter比较要统一场景数据和后优化预算。固定测试图后,再分开测纯context预测、目标相机估计、渲染及精修的耗时和显存。若等权限优势消失,就收窄泛化和部署结论。

原始链接

相关页面