LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

FreeSplatter无输入相机参数的稀疏视图高斯与位姿恢复

阅读原论文

#near-cvpr-2025#3d-vision#gaussian-splatting#primary-source

一句话结论

FreeSplatter从稀疏RGB预测首视相机坐标系的逐像素高斯，再以预测点图估焦距并用PnP-RANSAC求其余视图位姿。无输入内外参是推断接口的条件；训练仍有深度/真值相机监督，测试仍依赖相机模型假设、位姿求解与部分对象掩码。作者主表GSO新视角30.443 PSNR，但另一GSO对照中PF-LRM 25.08高于本法23.54，结论须按数据/渲染协议分开（ICCV正式主文pp.3–5 Fig.2/Eqs.1–6，p.5 Table1，p.7 Table3；官方补充p.1）。

问题、表示与输入边界

  • 物体版FreeSplatter-O和场景版FreeSplatter-S分别训练。输入N张稀疏RGB，不给网络内参/外参；8×8 patch、24层宽1024 Transformer处理reference/source视图嵌入，每个token还原64个像素位置对应的高斯。网络直接回归首视相机坐标系中心、旋转、尺度、透明度及颜色，并通过预测的3D中心与2D像素建立相机求解对应；非已知相机深度反投影（主文pp.3–4 Fig.2、Eqs.1–3；补充p.1）。
  • 测试先以Weiszfeld法拟合逐视焦距并取共享焦距，再用PnP-RANSAC求相对位姿。假定主点在图像中心、方形像素、各视图共享一个焦距；未验证各种镜头畸变和焦距随视图变化的设置。O版PnP需rembg前景掩码及白背景，S版用预测opacity阈值作掩码；场景绝对尺度有歧义，训练与渲染前分别归一化/对齐。新视角指标的目标相机位姿对齐属于评测条件（主文pp.3–4、7；补充pp.1–2）。
  • 训练先用真值深度反投影点图的位置损失Lpos前100k步稳住中心，另用预测像素射线的Lalign及真值目标相机下渲染MSE+LPIPS监督；O仅对前景加ray约束、S对有效点加约束。测试从无输入相机参数并不表示训练无位姿/深度，生成应用另借Zero123++/Hunyuan3D多视生成器（主文pp.4–5 Eqs.4–6；补充pp.4–8）。

数据、结果与可比较性

  • O在Objaverse白底渲染图/深度上训练，测试GSO、OmniObject3D；OmniObject3D选30类300物件，每物件24视、其中4幅结构化输入。S在BlendedMVS、ScanNet++、CO3Dv2混合训练，测试ScanNet++/CO3Dv2及域外Re10K；主文测试图像512×512。对象/场景为重要独立单位，相机对和多目标视角具相关性；未见全面逐物件置信区间、失败率和重复训练方差（主文pp.5–7 §§4.1–4.2、Table3）。
  • 主文p.7 Table3：GSO O版30.443/.945/.055，GT位姿输入的InstantMesh* 25.421/.891/.095；OmniObject3D 31.929/.973/.027，对LGM* 24.852/.942/.060；ScanNet++ S版25.807/.887/.140，对已知相机pixelSplat* 24.974/.889/.180（PSNR/SSIM/LPIPS）。该ScanNet++ SSIM反例是.887低于.889；CO3Dv2 20.405/.781/.162，对Splatt3R 18.074/.740/.197。星号方法拥有GT输入相机，其中pixelSplat/MVSplat先在Re10K预训后于ScanNet++微调，CO3Dv2缺它们的本表实测；跨范式排名应同时标相机许可、训练域和对齐。
  • 同主文p.7 Table4：GSO RRE 3.902、RRA@15° .961、TE .040，对MASt3R 59.633/.269/.353；场景RRE在ScanNet++ .776高于MASt3R .724，CO3Dv2 3.048高于2.917，Re10K 3.513高于2.341（误差越低越好），虽然这些场景其他pose指标可占优。主文p.5 Tables1–2在PF-LRM自己的GSO渲染协议中，本法真值新视PSNR23.54低于PF-LRM25.08、预测输入视25.50低于27.10，RRE8.96高于3.99；OmniObject3D方向相反。PF-LRM代码未取得，GSO光照/划分与主文Table3有别，必须保持两个对照表的各自分母。
  • 官方补充p.3 Table1把深度经TSDF提网格并采16k点：GSO本法CD .028/[email protected] .960，GT位姿输入InstantMesh* .024/.970；OmniObject3D本法.043/.896，对InstantMesh* .044/.882。这是限定网格提取、尺度及阈值的几何证据。补充p.9 Table4直接对#35 NoPoSplat：Re10K PSNR本法20.513低于NoPoSplat23.867，ScanNet++本法25.807高于21.477；Re10K RRE本法3.513高于NoPoSplat3.467。NoPoSplat输入已知内参，训练集与模型预算不同；这些是不同协议下的域差示例，不能归因于单一网络模块。

消融、成本与失败模式

  • 主文p.8 Table5固定其余配置比较16层/16patch 25.417/.896/.088与24层/8patch 30.443/.945/.055；Table6去Lalign使GSO PSNR30.443→26.684、ScanNet++25.807→21.330。补充p.12 Table5去Lpos留Lalign的GSO PSNR11.218；正文说会发散而表里仍有有限分数，记录为严重退化与表文张力。补充p.14 Fig.13的1–6视只给一个样本，不能概括统计趋势。
  • 官方补充p.1：每个O/S网络约306M参数，先256² 500k步再512² 100k步，16×H800。未统一报告每个模型GPU小时、总墙钟与预处理。补充p.3 Table2单A100高斯预测加位姿求解，2/4/6输入视分别1.268/3.669/7.495秒、3611/4225/4837MB；未明计时重复及是否峰显存，不含rembg、生成多视、TSDF或所有评测对齐。高亮白底物体可能产生半透明图元（补充p.2），跨域图多为作者选例（补充pp.9–11）。
  • 作者GitHub提供O/S及O-2dgs权重和推理入口，本轮仅审阅README/LICENSE当日快照，未下载权重或执行CUDA。README称Apache 2.0附Tencent限制，许可证含欧盟使用提示；外部生成和抠图模型另有许可条件，使用前逐项核原文。仓库观测HEAD与未锁定main文件快照不可视为同一不可变提交（原件与审计见raw目录）。

证据关联与实验边界

与pixelSplat/MVSplat的已标定前馈、NoPoSplat的已知内参无外参、Uni3R的语义教师无外参路径比较，先冻结相机内参许可及误差、训练域/教师、目标相机对齐、场景划分、位姿求解耗时与GT几何。优先复核共享焦距失配、白底掩码、Re10K跨域反例与PF-LRM GSO协议；这属于3DGS研究专题的条件性实验设计，现无GPU复现或新统计实验。正式11页PDF、官方补充15页、逐页账与独立分析见raw/ingest/2026-09-25-freesplatter/。

元数据
{
  "id": "2026-09-25-freesplatter",
  "type": "source",
  "title": "FreeSplatter：无输入相机参数的稀疏视图高斯与位姿恢复",
  "title_en": "FreeSplatter: Sparse-View Gaussians and Camera Recovery without Input Calibration",
  "status": "reviewed",
  "note_status": "reviewed",
  "created": "2026-09-25",
  "updated": "2026-09-25",
  "source_type": "paper",
  "venue": "ICCV 2025",
  "authors": "[Jiale Xu, Shenghua Gao, Ying Shan]",
  "published_at": "2025-10-01",
  "ingested_at": "2026-09-25",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/ICCV2025/html/Xu_FreeSplatter_Pose-free_Gaussian_Splatting_for_Sparse-view_3D_Reconstruction_ICCV_2025_paper.html",
    "https://openaccess.thecvf.com/content/ICCV2025/papers/Xu_FreeSplatter_Pose-free_Gaussian_Splatting_for_Sparse-view_3D_Reconstruction_ICCV_2025_paper.pdf",
    "https://openaccess.thecvf.com/content/ICCV2025/supplemental/Xu_FreeSplatter_Pose-free_Gaussian_ICCV_2025_supplemental.pdf",
    "https://github.com/TencentARC/FreeSplatter"
  ],
  "raw_entry": "raw/ingest/2026-09-25-freesplatter/",
  "topics": "[topics/3d-gaussian-splatting]",
  "entities": [],
  "claims": [],
  "questions": [],
  "tags": [
    "near-cvpr-2025",
    "3d-vision",
    "gaussian-splatting",
    "primary-source"
  ]
}