LLLMWIKI
正文研究地图阅读入口元数据

来源笔记 · 更新于 2026-10-05

7DGS联合时间与观察方向的高维高斯

阅读原论文

一句话结论

把空间、时间和观察方向放入同一个高维高斯,再切成可渲染的三维高斯,能提升部分动态画质;完整版本和轻量版本的速度与质量必须分开。

正式身份与阅读版本

Crossref登记为IEEE/CVF ICCV2025主会proceedings-article,DOI 10.1109/iccv51701.2025.02442、页26316–26325、六作者与已保存官方main program PDF第63页poster154一致。本文reviewed范围为作者本人提交、CC BY4.0的 arXiv:2503.07946v1(2025-03-11)完整10页,8页正文和2页参考文献,无作者附录。出版最终稿及官方补充未取得,差异未核实;provided星号不当作正式奖项。

官方CVF入口首次403已保留且未重试;身份书目、作者全文、公开项目分别来自自身允许访问的独立来源,不声称获取或读过被拒绝页面。作者项目链接到公开数据入口,但本次未下载或核验数据包内容、许可。独立分析、原表图像和逐页台账保存在内部raw层。

问题、输入与方法

目标是有时间和相机标定的动态视频新视角渲染,逐场优化,不是单图前馈、场景生成或语义定位。每个图元以三维位置、一维时间、三维方向向量组成七维均值和协方差;方向向量不等于三个独立角自由度。原3DGS已用球谐颜色处理视角相关外观,7DGS额外让几何/透明度受时间—方向联合条件影响(pp.1–4)。

协方差用Cholesky表示,在给定时间和方向时,通过高斯条件公式求三维均值与Schur complement协方差。透明度再乘各自时间门和方向门,复用原3DGS投影、深度排序及混合。因此没有取消排序,也不是精确光传输或真实物理模拟。条件位置随观察方向变化,不能单凭RGB好看推断真实几何(pp.4–6,Eqs.10–17)。

固定协方差的基础切片难表达随时间改变的形状。自适应高斯精修(Adaptive Gaussian Refinement,AGR)用小型MLP预测均值/协方差残差,随时间更新后再切片;时空相关增密和剪枝也共同影响结果。AGR以当前时间编码和图元基础属性为输入,当前观察方向通过后续切片引入。CUDA切片是作者提出的进一步加速方向,未作为已实现结果报告(pp.5–6 Algorithm1,p.8)。

数据、训练和成本

作者同卡Tesla V100 16GB实验,三套数据:D-NeRF八个合成场,Technicolor五个同步多视视频场,自建7DGS-PBR六个物理渲染场。PBR心脏来自真实CT体数据,但训练/真值是渲染帧,不能写成直接临床视频重建或已验证医学用途。PBR按时间内视角9:1分割,未证明未见时间泛化;心脏用marching cubes点初始化,Technicolor用COLMAP,其他场随机点(p.6 §5.1)。

默认下采样和batch4,Technicolor全分辨率且本法batch1,对照batch是否同改未明确。网络和调制参数分阶段启用;总步数、精确warmup计时、峰显存和完整软件环境未充分报告。V100容量不等于实测峰内存。训练分钟不含CT/合成数据渲染、分割、SfM和采集成本;模型点数也不等于存储或运行内存(pp.6–7)。

主要结果:按版本分账

同论文内部数据集平均4DGS PSNR ↑完整7DGS PSNR ↑无AGR PSNR ↑4DGS FPS ↑完整FPS ↑无AGR FPS ↑原文定位
PBR六场27.7932.5031.77192.6174.7376.0p.7 Table1
D-NeRF八场33.2134.3433.26296.4194.2377.8同表
Technicolor五场33.2533.5833.3084.279.2278.0同表

完整模型三个数据集平均都更慢;无AGR的后两个数据集只提升0.05 dB。作者正文“all metrics”全优比表格支持范围更强,不能沿用。三个平均值对应不同数据和分辨率,只看各行内部结果,不做跨集FPS总榜。

PBR heart1同场、同V100PSNR ↑FPS ↑原文定位
4DGS对照27.30186.9p.7 Table1
完整7DGS35.48155.7同表
7DGS无AGR34.66401.0同表、p.1 teaser

宣传中+7.36 dB和401 FPS来自无AGRheart1;完整模型画质更高但速度更慢。cloud无AGR的表为29.29 PSNR,teaser图为29.26,保留不一致,不能假定最终稿已修正。

同表训练和点数4DGS训练时间 ↓完整训练时间 ↓4DGS点数 ↓完整点数 ↓原文定位
PBR平均127.2分钟116.7分钟641,96098,440p.7 Table1
D-NeRF平均52.6分钟50.7分钟255,31947,378同表
Technicolor平均358.9分钟112.1分钟838,892416,390同表

更少点不代表相同比例的内存节省,七维图元和网络有额外参数。无AGR列未给训练时间,不能把其FPS当作同质量训练成本证明。

反例、消融与比较口径

完整法在D-NeRF h.warrior的PSNR从34.10降至32.96、hook从32.93降至31.57;Technicolor fabien与theater也有PSNR下降。完整suzanne仅62.5 FPS,对照141.8;Technicolor train仅18.6 FPS,对照58.3。不是所有场景实时,也不是所有单场更清楚(p.7 Table1)。

主对照4DGS是Zeyu Yang等ICLR2024的联合时空高斯;Wu等CVPR2024形变法在另一表叫4DGaussians,不能混名。Technicolor另一表使用LPIPS-Alex,本法0.101弱于STG的0.085和Ex4DGS的0.094;SSIM0.912弱于Ex4DGS0.917。主表LPIPS0.198是另一设置,不能混成同一数值。只带星号的4DGS/Ex4DGS报告为官方代码重跑,其他结果并非统一预算复测(p.8 Table2,refs.35/38)。

AGR开关是主要量化消融;跨协方差、opacity门、时空增密和点/参数/内存预算未完整拆分。缺多种子和置信区间、几何/运动真值、未见时间、强外推和长期一致性验收。此处好看的体积外观不证明可重光照、真实生物力学或可靠SLAM。

代码与复现边界

项目仓库固定提交 43d70f99b11b0326402fe92bc7554514c6beb84c 的完整目录树/README是网页模板、图像及视频,未发现Python/CUDA/C++训练实现。项目有Data链接,但数据包可访问性、内容和许可未核;网页CC BY-SA4.0不能推成算法软件或数据许可证。本次未执行代码、GPU复现或下载训练数据,不承诺现有公开材料足以复现。

相关页面