开放问题
DINO 密集特征如何迁移到三维高斯语义分割?
这个问题仍然开放,需要通过新的 primary evidence 继续收窄。
问题
前瞻研究假设:冻结 DINO 系列提取多视图二维密集特征,结合相机与可见性,将特征投影/蒸馏到三维高斯,再连接有监督语义头或聚类与类别映射。该流程是用户的后续研究兴趣;当前 DINO 家族证据仅支撑二维特征及部分对应能力,完整高斯语义分割效果需要新增实验。
多视图 RGB → 冻结 DINO patch 特征 → 可见性加权投影或可微特征渲染蒸馏 → 每个高斯的语义特征 → 语义头 / 聚类 → 具名类别与分割评测
当前证据与尚待解决的环节
- DINO:自蒸馏学习视觉 Transformer 表示 展示冻结特征的掩码传播与对象空间结构,适合作为早期表征起点。
- DINOv2:可迁移的自监督视觉特征 提供冻结 dense features 的分割读出与目标消融,适合先建立可控迁移基线。
- DINOv3:稳定密集特征的视觉基础模型 作者稿包含 NAVI/SPair 对应评测,正式身份为 TMLR 2026;正式全文版本核对待补。多视图对应评估与三维高斯场景语义分割分别验证。
优先验证的问题
- 多视图一致性:同一个可见表面在不同相机中是否得到相近向量?相机误差、视角变化、重复纹理和光照分别影响多少?训练视角之外的新视角能否保持一致?
- 语义标签映射:聚类得到的特征簇如何映射到具名类别?少量标签训练的线性头、聚类匹配与额外文本对齐分别需要什么监督许可?实例与语义类别怎样分开计分?
- 遮挡与边界:同一像素的 alpha 混合是否将前后景特征混在一起?薄物体、半透明边缘和遮挡解除后的高斯如何更新?可见性/深度门控是否减少标签泄漏?
最小可证伪实验
固定同一场景、相机、训练/留出视图与高斯几何。先缓存一种 DINOv2 模型的二维特征;分别比较直接多视图特征平均、可见性加权融合与渲染蒸馏。语义标签只按预先约定的训练划分使用,留出视图仅计分;语义头参数量和训练预算保持一致。
| 验证维度 | 建议指标 | 判断目标 |
|---|---|---|
| 三维/留出视角语义 | mIoU ↑、类别平均精度 ↑ | 验证具名类别质量 |
| 多视图 | 可见同点特征误差 ↓、跨视角标签冲突率 ↓ | 验证融合一致性 |
| 细节 | 边界 F-score ↑、遮挡区域 mIoU ↑ | 检查前后景混合与薄结构 |
| 实用成本 | 特征存储 MB ↓、提取时间 ↓、训练时间 ↓ | 分开核算特征前端与高斯优化 |
继续条件:固定几何和标注预算后,留出视角语义/边界质量获得稳定改善。止损条件:收益仅出现在训练视图,或来自额外标注/更大语义头;此时先回查融合与数据划分。