3D Gaussian Splatting: Representation, Optimization, Geometry, and Dynamic Scenes

English translation pending — this page shows the Chinese original.

三分钟摘要

• 它是什么：三维高斯泼溅（3D Gaussian Splatting，3DGS）用几十万到几百万个半透明、带颜色的“椭球小斑点”拼出一个三维场景。给它一组拍好的照片和相机位置，它会调整这些斑点，直到从任何角度“拍”出来的图都和真实照片一致。
• 为什么火：训练好之后渲染极快，可以实时在新视角下看场景。原始 3DGS 在标准数据集上达到每秒 134 帧，而此前的 NeRF 类方法远达不到实时。
• 大家在改进什么：主要有四条线。① 画质和几何更准；② 训练更快、模型更小；③ 少拍几张、甚至不给相机参数也能重建；④ 扩展到会动的场景、语义查询、物理模拟和编辑。
• 最重要的一条阅读提醒：本页数字都来自各论文自报，不同论文用的显卡、数据处理和训练步数都不一样。只在同一张表、同一条件下比较数字，不要跨论文排总榜。
• 证据阶段：本页基于 55 篇正式发表论文的全文（含明确标注版本的作者公开稿），阶段为 evidence_map（初步证据地图）。另有 44 篇候选论文待筛，#36 AnySplat 因出版社 PDF 权限受阻。逐篇细节见 逐篇证据矩阵。

先懂这几个词

指标怎么读

任务或系统流程

一句话理解传统渲染：每个高斯投到屏幕上是一个椭圆，从近到远叠加，前面的越不透明，后面的就越看不见。训练就是反复“渲染 → 和照片比 → 调整高斯”。详细数学见 3D Gaussian Splatting：从稀疏点到实时新视角渲染。

当前综合判断

1. “实时”只指训练完成后的渲染，训练和准备仍然要时间

为什么重要：新手容易以为 3DGS 什么都快。实际上它渲染快，但每个场景仍要训练几十分钟，模型文件也不小。

条件：Mip-NeRF 360 数据集，原始 3DGS 论文同一张表。怎么读：3DGS 的 PSNR 略低，SSIM 和 LPIPS 更好，渲染速度快两千多倍。来源：3D Gaussian Splatting：从稀疏点到实时新视角渲染。

2. 画面好看不等于几何准确

为什么重要：PSNR 高只说明照片像，表面可能是歪的。要做测量、CAD、机器人等需要真实形状的任务，必须另测几何。

| EvaGaussians | 从运动模糊RGB加事件流重建静态场景 | 大场景平均PSNR ↑：23.86 → 26.02（对照BAD-GS） | 需额外事件传感器、EDI和COLMAP；真实场景没有清晰真值 |

怎么读：几何更准的方法往往牺牲一点画质；事件辅助可改善模糊输入的画质，真实形状仍需另测。选方法前先明确图像还是几何目标。

3. 训练与渲染提速依赖底座，还要检查画质代价

为什么重要：这个方向很拥挤，很多收益依赖工程底座。训练和渲染是不同环节，随机采样还会用画质换速度。

条件：Mip-NeRF 360，RTX 4090，FastGS 论文同一张表。怎么读：Big 版比对照快近一倍，画质持平；基础版更快，但 LPIPS 变高，细节更糊。

注意：FastGS 接到几何方法上后，几何 F1 从 0.57 降到 0.55。

其他几篇各自的“加速前 → 加速后”（不同显卡和数据，只看各行内部变化）：

怎么读：各行只比较其论文内部设置；低采样渲染省时不能推成同画质或训练加速。

注意：StochasticSplats高采样精修的反向成本显著增加；消除视角跳变还需额外几何近似，各模式分开看。

软件库 gsplat 本身就能让训练更快、更省显存，所以比较加速方法前要先统一底座版本。

4. 前馈重建能“秒出”场景，但要大规模预训练

为什么重要：逐场景训练要几十分钟；前馈网络遇到新场景只需不到一秒，适合产品化。代价是前期要在大量视频上训练，显存需求高。

数字为各论文自报，数据集和输入相同，可以粗看趋势。

注意：输入视角多时，逐场景优化仍然更好：

5. 无真值外参已延伸到训练，内参与先验仍需分账

为什么重要：真实拍摄常常拿不到准确的相机位姿。“无位姿（pose-free）”方法直接从照片预测高斯，是近两年热点。

怎么读：SPFSplat把“不给真值外参”从推理扩展到主训练阶段；这不等于没有镜头内参或预训练几何知识。各行是论文自报，不同数据和位姿对齐协议不能排总榜。

注意：NoPoSplat、FreeSplatter仍有训练相机监督；SPFSplat默认依赖内参与MASt3R初始化，评测期位姿对齐（EPA）须单列。

注意：没有EPA时SPFSplat的DTU画质反例必须保留；不是无条件跨域领先。比较需配平训练先验与目标对齐权限，细节见 SPFSplat来源笔记。同类方法还有 Uni3R、Off The Grid、WildSplat。

6. 动态场景要分清画质、速度和完整任务成本

为什么重要：现实里人和车会动。动态高斯要同时建模形状、运动和随视角变化的外观，难度和成本都更高。

怎么读：各行只比较原论文内部设置；渲染、前馈重建和完整定位建图是不同任务，不能拼成速度总榜。7DGS最快版本并非最高画质版本；4DGS-SLAM有深度输入，WildGS-SLAM用RGB且只建静态地图。

注意：7DGS有画质与速度反例；4DGS-SLAM跟踪仍遮蔽动态区域，后来进入的物体还需预指定初始化，不能推成实时、自动持续建图。

7. 采集、生成、语义和物理任务各需自己的评测

为什么重要：高斯用于选照片、生成、语言或物理任务时，单一画质指标已不能说明效果，需要各自的真值和指标。

生成方向也有取舍：同一ScanNet++单图视频协议，GGS的一致性TSED ↑从0.596到0.896，但图像分布距离FID ↓从80.4变为81.8，反而退化。怎么读：不同视角更协调，并不保证图像更好或形状真实。完整版本、数据和原表定位见 GGS；本文未核对作者稿与出版最终版的差异。

球面展开（UV mapping）把高斯按方向排成二维网格，便于接图像模型。怎么读：UVGS能大幅减少资产存储，但丢点和解码会损画质，映射与生成仍需训练；真实形状和完整成本要另测。

主动采集就是决定下一张照片从哪里拍。怎么读：POp-GS先要已有地图和候选相机位置，固定照片数的画质收益还须配平计算与移动成本；信息评估频率不同于渲染帧率。

物理方向的 PhysGaussian 和 PhysGM 的材料参数由人工设定或由模型伪标注，尚无真实物性测量来验证。

近五年演化（2022—2026）

趋势：2024 年定下基本分支，2025 年补工程和“去掉相机”，2026 年论文数量暴增，但多数是在已有分支里做细化。

方法家族与成熟阶段

方法家族的成熟度

拥挤方向与研究机会

先看结论

四个研究入口怎么选

对“能否作为研究生方向”的修订结论

3DGS 可以作为研究生方向，但本页仍是初步证据地图，四个入口都是“先复现、再判断”的条件性建议。默认从 A 或 B 开始，它们算力需求最低、结论最容易验证。等尚未完成核验的 45 篇候选论文筛完，才能判断这些切口是否已被别人做过。

反方证据、局限与可证伪条件

检查点 1：几何和画质不能兼得的反例

• 2DGS 在 Tanks and Temples 上几何 F1 低于 Neuralangelo。
• FastGS 接到几何方法后，几何和 SLAM 画质都略有退化。
• CoMe 在 DTU 物体上的表面误差仍不如 PGSR。

• EvaGaussians真实场景没有清晰真值，作者稿的主表与附录指标也有差异；无参考图质分数不能证明真实几何正确。

检查点 2：前馈与无位姿方法的反例

• 前馈方法换数据集（RE10K → DTU）后，绝对 PSNR 都很低，领先幅度意义有限。
• MVSplat 在反光、非漫反射表面上失败。
• Uni3R 正文说的提升幅度和它自己的表格不一致；NoPoSplat 附录的一张表和文字结论方向矛盾。

检查点 3：效率与动态方法的反例

• Speedy-Splat 渲染快了数倍，但感知画质明显下降。
• StochasticSplats单样本噪声较大、高采样反向更贵，语义定位亦有退化。
• SpeeDe3DGS 在剧烈运动的合成场景上画质下降明显。
• 多篇论文的训练时间混用不同显卡，无法当作纯算法收益。

• 4DGS-SLAM动态建图的平均感知指标会退化，光流收益依赖静动态分离；动态物体保留不保证每场轨迹最优。

检查点 4：扩展任务的反例

• POp-GS的完整信息估计更贵，Blender批选时三项画质都弱于简化版；局部参数不确定性尚未验证真实几何或机器人安全。

• UVGS的压缩率伴随画质损失；固定结构不等于数学可逆，冻结图像自编码器不等于全系统零训练。

• GS-GS少视角画质提升不证明真实几何；动态输入是多个同步视频机位，相对收益还会随视数增加而缩小。

• PhysGaussian、PhysGM 缺少真实物理参数测量。
• REALM、B³-Seg 等依赖 SAM、CLIP 或大语言模型，评测场景是挑选过的子集。
• Matryoshka、WildSplat 的正文和表格数字存在矛盾，引用时要回到原表。
• GGS的一致性收益伴随部分FID/FVD退化；私有视频骨干和训练场景限制公平复现。

什么结果会推翻本页判断：如果在统一相机、数据划分和训练预算后，简单的滤波或正则就能达到同等收益，入口 A、B 的价值就不成立；如果统一预训练和显存预算后前馈方法的跨域优势消失，入口 C 就要收窄。

• 7DGS完整模型的平均渲染速度下降，真实视频也有单场画质反例；条件几何不等于真实表面。

研究生可行的研究入口

推荐排序与止损条件

• 优先顺序：没有特定资源先做 A 或 B；有大显存再考虑 C；偏工程做 D。
• 不要作为首个课题：从零训练大型前馈模型，或只报告“比原始 3DGS 快 X 倍”。
• 三个月止损信号：基线无法复现；改进只在一个数据集出现；换显卡或底座后收益消失。
• 调整方式：方法创新证据不足时，把课题收窄为公平评测、失败案例分析或成本—质量取舍。

证据基础

55 篇论文均保存了完整 PDF、可检索全文和独立 analysis.md，位于同名 raw/ingest/ 目录。本页作者尚未实际运行任何复现实验。检索范围和比较口径见 检索协议，逐篇数字、页码和口径冲突见 证据矩阵。

开放问题

用户的前瞻方向：以 DINO 二维密集特征为前端，经多视图投影或特征蒸馏赋予高斯语义，再训练语义头或聚类映射。研究问题 明确检验多视图一致性、类别映射与遮挡边界；当前标为待验证假设。骨干概念与论文版本边界见 Visual Representations and Backbones 和 DINO 家族：自监督视觉表示与预训练骨干。

1. 在统一相机、数据划分和硬件下，各种加速方法的收益能否区分、能否叠加？
2. 画质与几何的取舍，有多少来自图元形状，有多少来自网格提取参数？
3. 前馈方法在统一预训练和图元数量后，跨数据集优势还剩多少？
4. 无位姿方法如果评测时不用目标照片对齐位姿，结果会怎样？
5. 动态高斯在剧烈运动、长序列上能否同时保住画质和速度？
6. 语义和编辑方法在独立人工标注的数据上还有多少提升？
7. 物理高斯能否建立一个有真实材料测量的评测基准？
8. 尚未完成核验的 45 篇候选论文是否已经覆盖了上面这些切口？

相关页面

• 先读基础：Foundations of Core Vision Tasks（相机与几何）、Datasets, Metrics, and Benchmark Reliability（指标可靠性）。
• 推荐阅读顺序：原始 3DGS → Mip-Splatting → 2DGS → MCMC → pixelSplat → MVSplat，之后按兴趣选大类。
• 完整审计：检索协议、逐篇证据矩阵。