NeuralGS : NeRF와 3DGS의 융합으로 구현한 고효율 3D 장면 표현

 

가상현실(VR)과 증강현실(AR), 그리고 영화·게임 산업의 발전은 사실적인 3D 장면 생성 기술에 대한 수요를 급격히 증가시키고 있습니다. 이러한 요구를 충족시키기 위해 최근 주목받고 있는 기술 중 하나가 바로 Neural Radiance Field(NeRF)입니다. NeRF는 비교적 적은 데이터로도 정밀한 3D 장면을 재현할 수 있어, 학계와 산업계 모두에서 큰 관심을 받고 있습니다. 그러나 NeRF의 핵심 방식인 볼륨 렌더링은 렌더링 속도가 느려 실시간 처리가 필요한 응용 분야에서는 활용이 어려운 문제가 있습니다.

 

이와 대조적으로 3D Gaussian Splatting(3DGS)은 렌더링 속도 면에서 뛰어난 성능을 보이지만, 수백만 개의 3D 가우시안 데이터를 개별적으로 저장해야 하기 때문에 저장 공간과 전송 효율성에서 한계가 존재합니다. 즉, 고속 렌더링과 고품질 시각화를 동시에 만족시키는 3D 표현 방식에 대한 필요성이 지속적으로 제기되고 있는 상황입니다.

 

이 글에서는 이러한 한계를 해결하기 위한 새로운 접근법으로, NeRF의 뉴럴 필드(Neural Field) 기반 구조와 3DGS의 속도 강점을 결합한 'NeuralGS'라는 새로운 압축 프레임워크를 소개합니다. NeuralGS는 뉴럴 필드를 활용해 3D 가우시안 속성을 압축하고, 그 과정에서 클러스터링과 중요도 기반 학습, 주파수 손실 함수까지 통합함으로써 실시간 렌더링이 가능하면서도 저장 공간까지 획기적으로 줄인 기술입니다.

---

 

NeuralGS

1) 기존 방식의 문제점

 

기존의 3D 장면 표현 기술은 크게 두 가지 접근법으로 나뉩니다.

• NeRF 기반 방식 : 뉴럴 네트워크를 활용해 3D 장면을 압축적으로 표현할 수 있으나 렌더링 속도가 매우 느려 실시간 응용에는 적합하지 않습니다. (비유 : 장면 전체를 그림으로 기억하고 있는 화가처럼 그림을 보여줄 땐 그려야 하니 시간이 오래 걸림)
• 3D Gaussian Splatting(3DGS) 방식 : 수많은 3D 가우시안을 화면에 빠르게 분산(render)하여 빠른 렌더링 속도를 구현합니다. 하지만 이 방식은 수많은 가우시안의 속성을 그대로 저장해야 하기 때문에 수백 MB에 이르는 저장 공간을 필요로 하며, 전송 및 저장 효율성이 떨어집니다. (비유: 사진을 조각조각 찍어서 퍼즐처럼 맞추는 방식으로 퍼즐이 많아 많은 저장공간이 필요)

다른 최신 연구들은 이 문제를 해결하기 위해 복잡한 앵커(anchor) 구조나 보조 격자(voxel)를 활용하지만, 이로 인해 구조가 복잡해지고 일반적인 3DGS에는 적용하기 어렵다는 한계가 있습니다.

 

2) 접근 방식

 

NeuralGS는 이러한 기존의 한계를 넘기 위해 뉴럴 필드를 활용한 새로운 압축 방식을 제안합니다. 핵심 아이디어는 다음과 같습니다:

• 뉴럴 필드의 활용 : NeRF와 같은 뉴럴 필드는 복잡한 3D 장면을 몇 MB의 파라미터로 압축할 수 있다는 점에 착안하여, 3DGS의 가우시안 속성들을 뉴럴 네트워크로 예측하도록 구성했습니다. 즉, 각 가우시안의 위치 정보는 그대로 저장하고, 나머지 속성(불투명도, 회전, 스케일 등)은 뉴럴 필드를 통해 압축하여 예측합니다.
• 클러스터 기반 압축 : 단일 뉴럴 네트워크로는 다양한 속성을 정확히 예측하기 어렵다는 점에서, 속성이 유사한 가우시안들끼리 클러스터링하여 각 클러스터마다 작고 얕은 MLP(다층 퍼셉트론)을 적용하는 방식으로 해결했습니다.

 

위의 내용을 좀 더 쉽게 표현해 보면 다음과 같습니다. 

• 장면 속의 3D 가우시안 (장면의 조각 퍼즐 개념)을 보고 중요하지 않은 것들을 제거하고 (pruning)
• 남은 것들 중 색, 크기, 투명도 등이 비슷한 것끼리 묶고 (clustering)
• 그 그룹마다 경량 AI모델을 이용해 조각들이 해당 위치에 있을 때의 속성 정보를 요약 저장하고 (Tiny MLP)
• Tiny MLP들이 세세한 디테일을 표현할 수 있도록 미세조정하고 (Frequency Loss를 적용한 Fine-Tuning)
• 필요할 때 다시 이 정보를 이용해 빠르게 복원해서 사용 (rendering)

그림 : NeuralGS와 기존 방식과의 비교

 

그림 : NeuralGS의 전체 아키텍처

 

 

위 그림은 NeuralGS의 전체 아키텍처로 앞서 언급했던 작동 방식을 설명하고 있습니다. 

 

 

3) 세부 적용 기술

 

1️⃣ 중요도 기반 가우시안 정리(Pruning)

각 가우시안이 실제 렌더링에 얼마나 기여하는지를 계산하여 중요도(Importance Score)를 산출합니다. 중요도가 낮은 가우시안은 제거하고, 중요도가 높은 것만 남겨서 메모리를 줄입니다. 이 점수는 이후 학습 과정에서 가중치로도 활용됩니다.

 

2️⃣ 속성 기반 클러스터링(Attribute-based Clustering)

가우시안의 위치(x, y, z)뿐 아니라 회전, 스케일, 색상, SH 계수 등 다양한 속성을 정규화한 후 K-Means로 클러스터링합니다. 클러스터 내에서는 속성이 유사하므로 MLP로 더 정밀한 예측이 가능해집니다.

 

3️⃣ 클러스터별 Tiny MLP 구성
각 클러스터에는 5층의 작은 MLP가 구성되어 있으며, 입력은 위치 정보, 출력은 속성 값입니다. Positional Encoding과 tanh 활성화를 사용하여 다양한 변화를 표현할 수 있습니다. 

그림 : . 클러스터별 Tiny MLP 작동 방식

 

 

4️⃣ 주파수 손실 함수(Frequency Loss)

기존 MSE 손실 함수 외에, 고주파 성분 (세세한 패턴이나 질감 등)을 보존하기 위해 푸리에 변환 기반의 주파수 손실을 추가했습니다. 이는 잔디나 나뭇잎 등 고주파 디테일을 보다 선명하게 복원하는 데 기여합니다.

 

5️⃣ JPEG처럼 점진적 로딩 지원

클러스터별로 MLP를 분리함으로써, 마치 JPEG 이미지처럼 클러스터 단위로 점진적인 스트리밍이 가능합니다. 이는 VR/AR과 같은 스트리밍 환경에서 매우 유용한 기능입니다.

 

5) 제약사항

 

현재 NeuralGS는 정적인 3D 장면에 초점을 맞추고 있으며, 시간적으로 변화하는 4D 장면(예: 동영상 기반 3D 장면)에는 아직 직접적으로 확장되지 않았습니다. 또한, 클러스터 수가 많아질수록 MLP 수가 증가하므로, 훈련 시간과 메모리 요구량이 증가할 수 있습니다.

---

NeuralGS는 기존의 3D 장면 표현 기술인 NeRF와 3D Gaussian Splatting의 장점을 통합하여, 고속 렌더링과 고효율 압축을 동시에 달성한 기술입니다. 핵심 요소 기술을 요약하면 중요도 정리, 그룹 나누기, 작은 AI로 예측, 디테일 복원, 점진적 로딩 등이 되겠습니다. 

 

특히, 복잡한 구조 없이도 기존 3DGS를 직접 압축 가능하다는 점에서 실용적이며, 고속 스트리밍, 모바일 환경, VR/AR 콘텐츠 전송 등에 매우 유용하게 활용될 수 있습니다. 또한, 중요도 기반 학습과 주파수 손실의 도입은 단순한 압축을 넘어, 디테일한 정보까지 놓치지 않는 고품질 렌더링을 가능하게 합니다. 향후 이 기술이 시간축까지 확장된다면, 4D 콘텐츠 처리에도 큰 전환점을 마련할 수 있을 것입니다.

 

 

 

---

참고자료

• 논문) HuggingFace 모델 카드 (링크)

---

Q&A

 

Q. NeuralGS는 기존 NeRF와 어떻게 다른가요?

NeRF는 MLP로 장면 전체를 표현하지만, NeuralGS는 가우시안 속성만을 MLP로 압축하여 표현합니다. 덕분에 훨씬 빠른 렌더링이 가능합니다.

 

Q. 왜 클러스터별로 MLP를 따로 쓰나요?

가우시안 속성들은 공간적으로 고르지 않기 때문에 하나의 MLP로는 정확한 표현이 어렵습니다. 비슷한 속성을 가진 것들끼리 묶어 각각의 MLP로 학습하면 더 정밀한 표현이 가능합니다.

 

Q. NeuralGS의 주파수 손실(Frequency Loss)은 어떤 역할을 하나요?

렌더링 시 고주파 성분(예: 나뭇잎, 텍스처 등)이 손실되는 문제를 보완하여 더욱 선명한 이미지를 복원하는 데 기여합니다.