LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-09-25

EcoSplat按目标图元数条件化前馈高斯

阅读原论文

一句话结论

CVPR 2026的EcoSplat把多视前馈高斯压缩设为推断时指定图元数K的条件化预测:先用MASt3R初始化的模型学pixel-aligned高斯,后以伪重要mask训练opacity排序和top-K;与纯存储编码或固定阈值剪枝的预算目标不同(主文§3 pp.26012–26015)。

输入、学习与推断

输入已知相机的16/20/24视静态RGB及K,网络跨场景训练,输出K个高斯与目标视角RGB。PGT训练ViT encoder/多视decoder及中心/属性头;IGF冻结中心及transformer,浅CNN把K/(NHW)注入属性头。光度与估深法线梯度的高变化区域保留,低变化区域4×4单步K-means聚合并投影为伪重要mask;BCE约束opacity,再用top-K渲染MSE+0.05 LPIPS训练。PLGC逐渐拓展K采样到5%–95%;推断按各输入图的高频占比分配保留名额(主文pp.26013–26015 Fig.2/Eq.4–13)。图元K精确可控,输出像素对齐,模型成本还含预训练/相机估计。

主表、反证和成本

  • RE10K 24视5%预算作者24.72 PSNR/.183 LPIPS/78K图元,40% 25.11/.164/629K;SPFSplat满图元24.74/.145/1573K,所以高预算作者PSNR较高但感知分更差;70% PSNR25.00低于40%,不具单调保证(主文pp.26015–26016 Tables1–2)。
  • RE10K训练→ACID 24视作者40% 24.02 PSNR/.256 LPIPS,对SPFSplat满图元24.40/.222,预算大降伴跨域画质退化;不能将同预算主表中的优势推广成全面SOTA(p.26016 Table3)。
  • 5%下去PGT22.93、去IGF6.45、去重要度BCE20.58、去渐进K21.49,完整24.72 PSNR,依赖两个训练阶段;补充对更远目标视图的Table6采用独立协议(主文p.26017 Table4、补充p.2)。
  • 同A100 24视作者5%:.52s高斯重建、1042FPS、27MB;SPFSplat .61s/710FPS/534MB。渲染帧率在预生成高斯/统一rasterizer后计量;离线训练两阶段各200K步用4×A100 40GB和MASt3R权重,总GPU小时/峰显存未报(补充p.1 Tables5/§A)。

边界与相关页

RE10K视频划分与从低重叠序列采中间帧决定分母,ACID是跨域场景;GT mesh未测。未见区域空洞、动态场景未覆盖;补充p.3 §C.5截至2025-11-20的Long-LRM重现失败是时间性的,不应当永久当无基线。代码MIT,仓库默认eco_spfsplat及eco_zpressor分支不同骨干;provided Highlight奖项尚缺官方独立核验。未运行GPU。详见raw/ingest/2026-09-25-ecosplat/analysis.md。三维高斯泼溅:表示、优化、几何与动态任务;Off The Grid:按图像局部结构预测亚像素高斯;MVSplat:匹配代价体驱动的前馈三维高斯。