LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

Uni3R无外参多视图的几何与语言语义联合高斯

阅读原论文

#near-cvpr-2025#3d-vision#gaussian-splatting#neural-rendering#primary-source

一句话结论

CVPR 2026从无外参、但带内参的多视图图像用预训练VGGT/DINOv2编码与LSeg语义教师前馈输出RGB/深度/语义高斯；ScanNet目标视mIoU .5584、PSNR25.53的优势建立于场景测试与教师监督，0.162秒场景重建排除8×A100预训练/微调及教师与前处理成本（主文pp.33283–33285 Tables1）。

输入、监督与机制

焦距/主点经intrinsic embedding注入，跨视交替注意力融合图像，DPT逐像素回归高斯位置、颜色、opacity、协方差和语义特征。语义自编码压缩后按alpha渲染、以文本CLIP原型cosine查询。训练损失为输入视RGB L1+LPIPS、LSeg图像特征cosine蒸馏、VGGT高置信点图与预测点经Umeyama对齐的单向Chamfer（§3 pp.33283–33285 Eq.1–13）；“无3D语义标注”仍使用已训练几何/语言教师。

主要证据与反证

  • ScanNet 40未见场，主文p.33285 Table1目标视mIoU .5584、PSNR25.53、LPIPS.1380，对LSM .5078/24.39/.2506；不同监督/输入和预处理账需配平。8视0.359s/24.71 PSNR，16视0.636s/23.32 PSNR，增加视图未持续提高画质（p.33286 Table2）。
  • RE10K两视25.074 PSNR vs NoPoSplat25.036，差.038 dB；正文的“.2 dB”与表不符。ACID三项本法均略逊NoPoSplat（25.766/.778/.192 vs25.961/.781/.189，p.33286 Table3）。Mip360八视虽PSNR19.196对AnySplat18.805，但LPIPS.355对.308更差（p.33287 Table5）。
  • 任意视同一模型ScanNet 2/4/8视mIoU .5418/.4018/.5539、depth rel4.72/5.76/7.88，不是单调可扩展（p.33287 Table6）；去几何损失主文mIoU .5541稍高于标准.5484，depth rel5.6较差（Table7）。补充p.1 Table2的另一2视source设定mIoU 53.88→54.03，必须分口径。
  • RE10K→DTU/ScanNet++补充p.1 Table1是跨域PSNR/LPIPS，训练含RE10K、ACID、ScanNet/ScanNet++的不同checkpoint；使用前核实来源/目标隔离。几何/语义与动态图任务分开评测。

相关页与可用性

三维高斯泼溅：表示、优化、几何与动态任务；LangSplat：高斯语言特征与三级语义查询、iLRM：多视紧凑视角token反复吸收高分辨率图像。公开仓库LICENSE文本为CC BY-NC-SA 4.0，版权行“Naver Corporation”与仓库所有者不同，需单独核授权；未本地GPU复现。细节及原表异议见raw/ingest/2026-09-25-uni3r/analysis.md。

元数据
{
  "id": "2026-09-25-uni3r",
  "type": "source",
  "title": "Uni3R：无外参多视图的几何与语言语义联合高斯",
  "status": "reviewed",
  "note_status": "reviewed",
  "created": "2026-09-25",
  "updated": "2026-09-25",
  "source_type": "paper",
  "venue": "CVPR 2026",
  "authors": "[Xiangyu Sun, Haoyi Jiang, Liu Liu, Seungtae Nam, Gyeongjin Kang, Xinjie Wang, Wei Sui, Zhizhong Su, Wenyu Liu, Xinggang Wang, Eunbyung Park]",
  "published_at": "2026-06-01",
  "ingested_at": "2026-09-25",
  "canonical_links": [
    "https://openaccess.thecvf.com/content/CVPR2026/html/Sun_Uni3R_Unified_3D_Reconstruction_and_Semantic_Understanding_via_Generalizable_Gaussian_CVPR_2026_paper.html",
    "https://openaccess.thecvf.com/content/CVPR2026/papers/Sun_Uni3R_Unified_3D_Reconstruction_and_Semantic_Understanding_via_Generalizable_Gaussian_CVPR_2026_paper.pdf",
    "https://openaccess.thecvf.com/content/CVPR2026/supplemental/Sun_Uni3R_Unified_3D_CVPR_2026_supplemental.pdf",
    "https://github.com/HorizonRobotics/Uni3R"
  ],
  "raw_entry": "raw/ingest/2026-09-25-uni3r/",
  "topics": "[topics/3d-gaussian-splatting]",
  "entities": [],
  "claims": [],
  "questions": [],
  "tags": [
    "near-cvpr-2025",
    "3d-vision",
    "gaussian-splatting",
    "neural-rendering",
    "primary-source"
  ]
}