一句话结论
把空间、时间和观察方向放入同一个高维高斯,再切成可渲染的三维高斯,能提升部分动态画质;完整版本和轻量版本的速度与质量必须分开。
正式身份与阅读版本
Crossref登记为IEEE/CVF ICCV2025主会proceedings-article,DOI 10.1109/iccv51701.2025.02442、页26316–26325、六作者与已保存官方main program PDF第63页poster154一致。本文reviewed范围为作者本人提交、CC BY4.0的 arXiv:2503.07946v1(2025-03-11)完整10页,8页正文和2页参考文献,无作者附录。出版最终稿及官方补充未取得,差异未核实;provided星号不当作正式奖项。
官方CVF入口首次403已保留且未重试;身份书目、作者全文、公开项目分别来自自身允许访问的独立来源,不声称获取或读过被拒绝页面。作者项目链接到公开数据入口,但本次未下载或核验数据包内容、许可。独立分析、原表图像和逐页台账保存在内部raw层。
问题、输入与方法
目标是有时间和相机标定的动态视频新视角渲染,逐场优化,不是单图前馈、场景生成或语义定位。每个图元以三维位置、一维时间、三维方向向量组成七维均值和协方差;方向向量不等于三个独立角自由度。原3DGS已用球谐颜色处理视角相关外观,7DGS额外让几何/透明度受时间—方向联合条件影响(pp.1–4)。
协方差用Cholesky表示,在给定时间和方向时,通过高斯条件公式求三维均值与Schur complement协方差。透明度再乘各自时间门和方向门,复用原3DGS投影、深度排序及混合。因此没有取消排序,也不是精确光传输或真实物理模拟。条件位置随观察方向变化,不能单凭RGB好看推断真实几何(pp.4–6,Eqs.10–17)。
固定协方差的基础切片难表达随时间改变的形状。自适应高斯精修(Adaptive Gaussian Refinement,AGR)用小型MLP预测均值/协方差残差,随时间更新后再切片;时空相关增密和剪枝也共同影响结果。AGR以当前时间编码和图元基础属性为输入,当前观察方向通过后续切片引入。CUDA切片是作者提出的进一步加速方向,未作为已实现结果报告(pp.5–6 Algorithm1,p.8)。
数据、训练和成本
作者同卡Tesla V100 16GB实验,三套数据:D-NeRF八个合成场,Technicolor五个同步多视视频场,自建7DGS-PBR六个物理渲染场。PBR心脏来自真实CT体数据,但训练/真值是渲染帧,不能写成直接临床视频重建或已验证医学用途。PBR按时间内视角9:1分割,未证明未见时间泛化;心脏用marching cubes点初始化,Technicolor用COLMAP,其他场随机点(p.6 §5.1)。
默认下采样和batch4,Technicolor全分辨率且本法batch1,对照batch是否同改未明确。网络和调制参数分阶段启用;总步数、精确warmup计时、峰显存和完整软件环境未充分报告。V100容量不等于实测峰内存。训练分钟不含CT/合成数据渲染、分割、SfM和采集成本;模型点数也不等于存储或运行内存(pp.6–7)。
主要结果:按版本分账
| 同论文内部数据集平均 | 4DGS PSNR ↑ | 完整7DGS PSNR ↑ | 无AGR PSNR ↑ | 4DGS FPS ↑ | 完整FPS ↑ | 无AGR FPS ↑ | 原文定位 |
|---|---|---|---|---|---|---|---|
| PBR六场 | 27.79 | 32.50 | 31.77 | 192.6 | 174.7 | 376.0 | p.7 Table1 |
| D-NeRF八场 | 33.21 | 34.34 | 33.26 | 296.4 | 194.2 | 377.8 | 同表 |
| Technicolor五场 | 33.25 | 33.58 | 33.30 | 84.2 | 79.2 | 278.0 | 同表 |
完整模型三个数据集平均都更慢;无AGR的后两个数据集只提升0.05 dB。作者正文“all metrics”全优比表格支持范围更强,不能沿用。三个平均值对应不同数据和分辨率,只看各行内部结果,不做跨集FPS总榜。
| PBR heart1同场、同V100 | PSNR ↑ | FPS ↑ | 原文定位 |
|---|---|---|---|
| 4DGS对照 | 27.30 | 186.9 | p.7 Table1 |
| 完整7DGS | 35.48 | 155.7 | 同表 |
| 7DGS无AGR | 34.66 | 401.0 | 同表、p.1 teaser |
宣传中+7.36 dB和401 FPS来自无AGRheart1;完整模型画质更高但速度更慢。cloud无AGR的表为29.29 PSNR,teaser图为29.26,保留不一致,不能假定最终稿已修正。
| 同表训练和点数 | 4DGS训练时间 ↓ | 完整训练时间 ↓ | 4DGS点数 ↓ | 完整点数 ↓ | 原文定位 |
|---|---|---|---|---|---|
| PBR平均 | 127.2分钟 | 116.7分钟 | 641,960 | 98,440 | p.7 Table1 |
| D-NeRF平均 | 52.6分钟 | 50.7分钟 | 255,319 | 47,378 | 同表 |
| Technicolor平均 | 358.9分钟 | 112.1分钟 | 838,892 | 416,390 | 同表 |
更少点不代表相同比例的内存节省,七维图元和网络有额外参数。无AGR列未给训练时间,不能把其FPS当作同质量训练成本证明。
反例、消融与比较口径
完整法在D-NeRF h.warrior的PSNR从34.10降至32.96、hook从32.93降至31.57;Technicolor fabien与theater也有PSNR下降。完整suzanne仅62.5 FPS,对照141.8;Technicolor train仅18.6 FPS,对照58.3。不是所有场景实时,也不是所有单场更清楚(p.7 Table1)。
主对照4DGS是Zeyu Yang等ICLR2024的联合时空高斯;Wu等CVPR2024形变法在另一表叫4DGaussians,不能混名。Technicolor另一表使用LPIPS-Alex,本法0.101弱于STG的0.085和Ex4DGS的0.094;SSIM0.912弱于Ex4DGS0.917。主表LPIPS0.198是另一设置,不能混成同一数值。只带星号的4DGS/Ex4DGS报告为官方代码重跑,其他结果并非统一预算复测(p.8 Table2,refs.35/38)。
AGR开关是主要量化消融;跨协方差、opacity门、时空增密和点/参数/内存预算未完整拆分。缺多种子和置信区间、几何/运动真值、未见时间、强外推和长期一致性验收。此处好看的体积外观不证明可重光照、真实生物力学或可靠SLAM。
代码与复现边界
项目仓库固定提交 43d70f99b11b0326402fe92bc7554514c6beb84c 的完整目录树/README是网页模板、图像及视频,未发现Python/CUDA/C++训练实现。项目有Data链接,但数据包可访问性、内容和许可未核;网页CC BY-SA4.0不能推成算法软件或数据许可证。本次未执行代码、GPU复现或下载训练数据,不承诺现有公开材料足以复现。
相关页面
- 三维高斯泼溅:表示、优化、几何与动态任务:动态判断加入高维外观和质量—速度版本分账。
- 3D Gaussian Splatting:从稀疏点到实时新视角渲染:静态球谐颜色与透明混合底座。
- SpeeDe3DGS:动态高斯时间剪枝与运动分组:通过时空剪枝和共享运动提速,机制不同。
- MoVieS:有位姿单目视频的前馈动态高斯与运动建模:动态前馈需要大规模预训练,预算不同。
- WildGS-SLAM:动态环境单目跟踪与静态高斯建图:在线定位和静态建图,不能用本法离线渲染FPS替代全链速度。