3D Gaussian Splatting：3D高斯模型可以实现高质量的实时场景渲染

本文介绍了一种新的方法，可以实现高质量的实时场景渲染。该方法利用3D高斯模型来表示场景，通过优化和密度控制实现对场景的准确表达，并使用快速的可见性感知渲染算法来加速训练和实时渲染。实验证明该方法在多个数据集上能够达到最先进的视觉质量和实时渲染效果。

项目地址：

https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/

– SIGGRAPH 2023(ACM Transactions on Graphics)是一项关于Radiance Field方法的研究成果。
– Radiance Field方法在多张照片或视频的场景新视角合成方面具有革命性的进展。
– 目前要实现高质量的视觉效果仍需要耗费大量训练和渲染成本的神经网络。
– 目前没有一种方法可以在1080p分辨率下实现实时显示。
– 研究团队提出了三个关键要素，使他们能够在保持竞争力的训练时间的同时实现最先进的视觉质量，并且能够以高质量的实时速率（≥ 100 fps）进行1080p分辨率的新视角合成。
– 他们使用稀疏点来表示场景，并使用3D高斯函数进行场景优化，避免在空白空间中进行不必要的计算。
– 他们进行交错优化/密度控制，优化3D高斯函数的各向异性协方差，以实现对场景的准确表示。
– 他们开发了一种快速的可见性感知渲染算法，支持各向异性的喷洒，并加速训练并实现实时渲染。
– 他们在多个已建立的数据集上展示了最先进的视觉质量和实时渲染。
– 他们在13个真实场景上测试了他们的算法，并进行了视觉比较。
– 这项研究由ERC Advanced grant FUNGRAPH No 788065资助。
– 他们感谢Adobe的慷慨捐赠，Université Côte d’Azur的OPAL基础设施以及GENCI–IDRIS（Grant 2022-AD011013409）的HPC资源。
– 他们感谢匿名评审人员的宝贵反馈，以及P. Hedman和A. Tewari在初稿校对方面的帮助，还有T. Müller，A. Yu和S. Fridovich-Keil在比较方面的帮助。
– 文中提供了参考文献列表。