高斯之城：由NTU S实验室开发的3D城市生成框架

什么是GaussianCity？

GaussianCity是由南洋理工大学S-Lab团队开发的高效、无边界3D城市生成框架。该框架基于3D高斯泼溅（3D-GS）技术，创新性地引入了紧凑型BEV-Point表征方法，使场景的显存占用保持恒定水平，有效解决了大规模场景生成中内存和存储需求过高的难题。

通过空间感知的BEV-Point解码器，利用点序列化和点变换技术捕捉BEV点的结构特征与上下文特征，生成高质量的3D高斯属性。该框架在无人机视角和街景视角的3D城市生成中表现卓越，相较CityDreamer等现有方法实现60倍加速，在生成质量和效率上均树立了新标杆。

GaussianCity核心特性

高效的大规模3D城市生成：快速生成逼真无边界城市环境，支持从航拍视角到街道场景的多样化观测

低显存与存储需求：紧凑的BEV-Point表征最大限度降低内存和存储需求，突破大规模场景生成的显存瓶颈

高质量视觉效果：空间感知BEV-Point解码器生成细节丰富的逼真3D城市，支持风格化编辑与局部修改

实时渲染与交互：实现实时渲染与交互式城市生成，适用于游戏、动画及虚拟现实应用

技术原理

3D高斯泼溅技术（3D-GS）：采用3D高斯分布表征场景中的物体与结构，通过GPU加速渲染实现高效3D场景生成

BEV-Point表征：将3D场景中的点信息解耦为位置属性与风格属性，利用鸟瞰图（BEV）和风格查找表实现数据压缩，确保显存占用不随场景规模变化

空间感知BEV-Point解码器：通过点序列化与点变换捕捉结构信息与上下文信息，生成用于高质量场景渲染的3D高斯属性

高效渲染管线：结合位置编码器与调制MLP生成3D高斯属性，通过高斯光栅化器渲染最终图像

项目链接

GitHub代码库：https://github.com/hzxie/GaussianCity

Hugging Face模型库：https://huggingface.co/spaces/hzxie/gaussian-city

arXiv技术论文：https://arxiv.org/pdf/2406.06526

应用场景

游戏与虚拟现实（VR）：快速生成逼真虚拟城市，支持实时渲染与交互，降低开发成本与时间周期

动画与影视制作：高效生成复杂城市场景，支持风格化渲染，提升制作效率

城市规划与建筑设计：快速生成城市布局与建筑环境，辅助规划设计方案可视化

自动驾驶与交通仿真：创建真实交通场景，用于算法测试与交通流分析

地理信息系统（GIS）：将地理空间数据转化为3D可视化模型，支持城市发展分析