LLLMWIKI
ArticleResearch mapReading portalMetadata

Source note · Updated 2026-09-25

DepthSplat单目先验与多视匹配互促深度及高斯重建

Read the paper

#near-cvpr-2025#3d-vision#gaussian-splatting#primary-source

English translation pending — this page shows the Chinese original.

一句话结论

已标定多视RGB中，将Depth Anything V2单目特征与平面扫描匹配代价体早融合，能在RE10K两视同表PSNR 27.47超MVSplat 26.39；渲染损失提供不依赖GT深度的预训练信号，成品深度仍受教师预训练、相机输入及后续真值微调约束（CVF主文pp.3–5 §§3–4、p.7 Tables4–6）。

机制、训练与输入边界

每视ResNet/Swin跨视特征以已知相机投影warp到深度候选平面，对>2视各选最近两邻相机做attention/相关；预训练单目ViT与代价体拼接入2D U-Net预测深度，第二尺度细化，经相机反投影得像素高斯中心，DPT头预测协方差/颜色/不透明度。新视角MSE+0.05 LPIPS训练全网；逆深度L1+梯度是真值深度监督阶段。输入始终包括内外参、近远深度范围和目标相机，像素高斯数随视数放大（主文pp.3–4 Fig.2/Eqs.1–2、p.8 §5）。

结果、反证与比较口径

  • RE10K 256²两视主文p.7 Table6：本法PSNR27.47/SSIM.889/LPIPS.114，MVSplat26.39/.869/.128、TranSplat26.69/.875/.125、pixelSplat25.89/.858/.142。pixelSplat自论文的26.09跨实验表不可直接作同配置差额。
  • DL3DV经RE10K预训练后额外微调的2/4/6视，本法PSNR19.31/23.12/24.19对MVSplat17.54/21.63/22.93；推断.083/.107/.132秒对.072/.146/.263秒：双视本法更慢，增加视数后作者设置中更快（主文p.8 Table7）。另一个仅RE10K预训练的零样本DL3DV是27.66 vs24.14 PSNR，ACID28.37 vs28.15（p.8 Table8）；训练与任务配置不同，不能混表。
  • 小号ViT-S单尺度全模型RE10K26.84，去单目特征26.04、去cost volume23.24；TartanAir AbsRel8.46→12.25/11.34（主文p.5 Table2）。较大骨干及双尺度使RE10K升至27.47，参数38M→354M、A100双视推断.050→.079秒（p.5 Table1）。补充p.1 Table A.1不同深度权重初始化NVS PSNR26.59→26.76→26.81，均非随机初始化零成本。
  • ScanNet深度双视AbsRel含GS预训练3.8、不含4.5（p.7 Table5）；无GT深度微调仅预训练在KITTI AbsRel56.83（p.7 Table4），预训练信号的跨任务增益应按先验/微调和相机分别归因。补充p.1 §B.4说明高分辨率6/12视MVSplat在作者配置下OOM，补充pp.3–4主要定性图示，缺GT mesh及统一相机误差实验。

成本与许可

NVS RE10K：4×GH200、150K步/batch32，小模型约1天、大模型约2天；DL3DV另100K步/batch4微调；ScanNet深度4×GH200 100K步/batch32（主文p.5 §4）。高分辨率补充p.1 §C另列256×448预训练150K/batch256及448×768混合集200K/batch64；摘要12视512×960 0.6秒是推断宣称，非训练全链。相机获得、教师权重、预处理、峰显存和高分辨率卡时需另记；代码仓库顶层MIT，权重/数据另核。本轮未运行GPU。逐页审计与官方11页主文/4页补充在raw/ingest/2026-09-25-depthsplat/analysis.md。

证据关联

3DGS研究专题；MVSplat：匹配代价体驱动的前馈三维高斯、pixelSplat：从已标定图像对前馈预测三维高斯、iLRM：多视紧凑视角token反复吸收高分辨率图像。比较时固定源视频划分、相机误差、教师、视数、图元预算、GPU，合报深度、画质和完整卡时。

Metadata
{
  "id": "2026-09-25-depthsplat",
  "type": "source",
  "title": "DepthSplat：单目先验与多视匹配互促深度及高斯重建",
  "status": "reviewed",
  "note_status": "reviewed",
  "created": "2026-09-25",
  "updated": "2026-09-25",
  "source_type": "paper",
  "venue": "CVPR 2025",
  "authors": "[Haofei Xu, Songyou Peng, Fangjinhua Wang, Hermann Blum, Daniel Barath, Andreas Geiger, Marc Pollefeys]",
  "published_at": "2025-06-01",
  "ingested_at": "2026-09-25",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2025/html/Xu_DepthSplat_Connecting_Gaussian_Splatting_and_Depth_CVPR_2025_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2025/papers/Xu_DepthSplat_Connecting_Gaussian_Splatting_and_Depth_CVPR_2025_paper.pdf",
    "https://openaccess.thecvf.com/content/CVPR2025/supplemental/Xu_DepthSplat_Connecting_Gaussian_CVPR_2025_supplemental.pdf",
    "https://github.com/cvg/depthsplat"
  ],
  "raw_entry": "raw/ingest/2026-09-25-depthsplat/",
  "topics": "[topics/3d-gaussian-splatting]",
  "entities": [],
  "claims": [],
  "questions": [],
  "tags": [
    "near-cvpr-2025",
    "3d-vision",
    "gaussian-splatting",
    "primary-source"
  ]
}