작은 디테일까지 생생하게! 주파수 인식 NeRF 모델 FA-NeRF

 

요즘 메타버스나 게임, 영화처럼 가상세계를 실감 나게 만드는 기술들이 점점 발전하고 있습니다. 그중에서도 사진 몇 장만으로 3D 공간을 만들어 새로운 각도에서 보는 장면을 생성할 수 있는 기술이 바로 NeRF(Neural Radiance Fields)입니다. 이 기술은 실제와 거의 비슷한 장면을 만들 수 있어서 많은 관심을 받고 있지만, 아직 해결되지 않은 문제도 있습니다.

가장 큰 문제는 ‘디테일’입니다. NeRF는 방 전체 같은 큰 구조는 잘 표현하지만, 책상 위의 작은 장난감처럼 세밀한 부분은 흐리게 나오는 경우가 많습니다. 왜냐하면 이런 작은 디테일은 ‘고주파 정보’라고 불리는 특징을 갖고 있는데, 기존 NeRF는 이런 고주파와 전체적인 구조(저주파 정보)를 동시에 잘 표현하지 못했기 때문입니다.

 

FA-NeRF는 이 문제를 해결하기 위해 장면의 ‘주파수 정보’를 분석해서, 그에 맞는 학습 방법을 적용하는 기술입니다. 즉, 어떤 부분은 정밀하게, 어떤 부분은 크게 볼 수 있도록 학습을 조절해 주는 똑똑한 NeRF라고 볼 수 있습니다.

 

그림 : 기존 NeRF 모델과 FA-NeRF 방식과의 비교

 

---

FA-NERF

1) 기존 방식의 문제점

 

기존 NeRF는 모든 장면을 같은 방식으로 처리합니다. 그래서 넓은 구조는 괜찮지만, 섬세한 디테일은 뭉개지거나 흐리게 표현되는 경우가 많습니다. 특히 벽의 질감, 나뭇잎의 결, 글씨 등은 잘 보이지 않게 되죠. 또, 고주파 정보가 많은 부분을 더 자세히 학습해야 하는데 기존 방식은 이를 고려하지 않았습니다.

 

2) 접근 방식

 

이런 문제를 해결하기 위해 장면 속 각 위치가 고주파인지 저주파인지 먼저 분석하고, 그에 따라 학습 방법을 다르게 적용하는 방법을 사용했습니다. 이렇게 하면 중요한 디테일을 놓치지 않고, 전체 구조도 잘 표현할 수 있습니다. 이를 위해 다음과 같은 전략을 채택했습니다. 

• 주파수 정량화 : 장면 속 각 지점이 고주파인지 저주파인지 숫자로 표시합니다.
• 주파수 기반 학습 : 고주파 영역은 더 자세히, 저주파는 적당히 학습하도록 조절합니다.\\\\\\\\

그림 : 전체 개요

 

위의 그림은 FA-NeRF의 전체 처리 방식 개요인데, 입력 이미지 → 주파수 분석 → 샘플링 및 가중치 조절 → 최종 색상 계산으로 이어지는 전체 과정을 도식화했으며, 주파수를 중심으로 학습을 조절하는 핵심 흐름을 한눈에 보여줍니다​.

 

3) 세부 적용 기술

 

1️⃣ 주파수 그리드 (Frequency Grid)

장면을 작은 칸으로 나누고 각 칸의 주파수 정보를 저장하는 구조입니다. 각 지점이 얼마나 복잡한 정보(디테일)를 가지고 있는지 기록하며, 학습할 때 중요한 기준이 됩니다.

 

2️⃣ 피처 가중치 조절 (Feature Re-weighting)

각 지점의 주파수에 따라 학습할 때 사용하는 정보(피처)의 중요도를 조절합니다. 디테일이 중요한 부분은 더 크게 반영하고, 그렇지 않은 부분은 줄여서 효율을 높입니다.

 

 

3️⃣ 주파수 기반 샘플링 (Frequency-Averaged Sampling)

장면을 학습할 때, 고주파 영역은 더 자주, 저주파 영역은 덜 자주 샘플링해서 학습 시간을 줄이면서도 디테일은 놓치지 않도록 합니다.

 

4️⃣ 적응형 샘플링 간격 (Adaptive Ray Marching)

장면의 복잡도에 따라 샘플링 간격을 조절합니다. 디테일이 많은 곳은 촘촘하게, 단순한 곳은 간격을 넓게 샘플링하여 연산 속도를 높입니다. 이를 통해 디테일을 살릴 수 있게 됩니다. 

 

그림 : 주파수 기반 샘플링 전략 설명

 

 

5️⃣ 주파수 추정 방식

2D 이미지에서 얼마나 뚜렷하게 보이는지를 SSIM(이미지 유사도 측정 지표)으로 평가해 주파수를 계산하고, 이를 3D 공간으로 바꾸는 방식으로 주파수를 추정합니다.

 

 

 

 

4) 제약사항

• 주파수 정보를 계산하고 업데이트하는 과정이 추가되기 때문에 연산 비용이 조금 더 듭니다.
• 고성능 GPU 환경(RTX 4090 기준)에서는 좋은 성능을 보이지만, 저사양 환경에서는 성능 저하가 발생할 수 있습니다.

---

 

FA-NeRF는 기존 NeRF가 놓치던 고주파 디테일까지 정밀하게 표현할 수 있는 기술입니다. 주파수 정보를 기반으로 학습을 조절함으로써, 장면 전체 구조도 놓치지 않고 표현할 수 있다는 점에서 큰 장점을 가집니다. 

 

실생활에서는 인테리어 시뮬레이션, 가상 박물관, 제품 3D 스캔 등 다양한 분야에서 활용될 수 있습니다. 앞으로 연산 속도까지 더 개선된다면, 누구나 쉽게 정밀한 3D 콘텐츠를 만들 수 있는 시대가 열릴 것입니다.

---

참고자료

• 사이트) LookCloser - FA-NeRF 프로젝트 (링크)
• 논문) LookCloser: Frequency-aware Radiance Field for Tiny-Detail Scene (링크)
• 코드) FA-NeRF 코드 (링크) - 아직 코드는 공개되지 않았습니다. 

 

---

 

Q&A

 

Q. FA-NeRF는 어떻게 디테일을 잘 표현하나요?

장면의 각 위치가 복잡한지 아닌지를 주파수로 분석한 뒤, 복잡한 부분은 더 정밀하게 학습해서 디테일을 살립니다.

 

Q. 주파수는 어떻게 계산하나요?

이미지를 여러 수준으로 분석해, 어느 수준에서 구조가 보이기 시작하는지를 기준으로 주파수를 계산한 후 이를 3D 공간으로 변환합니다.

 

Q. 기존 NeRF 모델에도 이 기술을 넣을 수 있나요?

피처 가중치 조절이나 샘플링 전략 등 일부 기술은 기존 모델에도 적용 가능하며 성능 향상에 도움이 됩니다.