AI 탐구노트

가상현실(VR)과 증강현실(AR), 그리고 영화·게임 산업의 발전은 사실적인 3D 장면 생성 기술에 대한 수요를 급격히 증가시키고 있습니다. 이러한 요구를 충족시키기 위해 최근 주목받고 있는 기술 중 하나가 바로 Neural Radiance Field(NeRF)입니다. NeRF는 비교적 적은 데이터로도 정밀한 3D 장면을 재현할 수 있어, 학계와 산업계 모두에서 큰 관심을 받고 있습니다. 그러나 NeRF의 핵심 방식인 볼륨 렌더링은 렌더링 속도가 느려 실시간 처리가 필요한 응용 분야에서는 활용이 어려운 문제가 있습니다. 이와 대조적으로 3D Gaussian Splatting(3DGS)은 렌더링 속도 면에서 뛰어난 성능을 보이지만, 수백만 개의 3D 가우시안 데이터를 개별적으로 저장해야 하기 때문에 저장 ..

가상현실(VR), 증강현실(AR), 3D 게임 그래픽 등에서 생생하고 사실적인 장면을 실시간으로 구현하는 기술은 날로 중요해지고 있습니다. 이러한 기술들은 대부분 시간에 따라 변하는 장면, 즉 '동적 장면'을 빠르고 정확하게 렌더링(rendering)하는 것을 목표로 합니다. 지금까지는 Neural Radiance Fields(NeRF)라는 기술이 주로 활용되어 왔지만, 이 방식은 처리 속도가 느리고 자원 소모가 커서 현실적인 적용에는 한계가 있었습니다. 최근에는 NeRF의 단점을 보완하기 위한 새로운 방식들이 등장하고 있으며, 그 중 하나가 바로 4D Gaussian Splatting(4DGS)입니다. 이 방식은 수많은 '가우시안 점'을 활용해 4차원(3D 공간 + 시간)의 정보를 표현하는 기술입니다...

요즘 가상 인간(디지털 휴먼) 기술이 주목받고 있습니다. 예를 들어, 온라인 쇼핑에서 실제 사람처럼 제품을 소개하는 가상 모델이나, 가상 회의에서 사람처럼 움직이며 말하는 아바타가 점점 많아지고 있죠. 이런 아바타를 만들기 위해서는 사실적인 얼굴 표정, 자연스러운 몸짓, 그리고 다양한 의상을 표현할 수 있어야 합니다. 그런데 이런 기능을 다 넣으면서도 스마트폰이나 AR 안경처럼 성능이 낮은 기기에서 실시간으로 동작하게 만드는 건 쉽지 않은 일이죠. 그러다보니 기존의 기술은 얼굴만 표현하거나, 컴퓨터에서만 작동하는 복잡한 방식이 많았습니다. 이런 문제를 해결하기 ㅜ이해 'TaoAvatar'라는 새로운 방법이 소개되었습니다. 이 방법은 전체 몸을 사실적으로 표현하고, 다양한 표정과 제스처까지 보여줄 수 있으..

1. 서론우리가 흔히 보는 영화나 게임에서는 멋진 3D 그래픽과 애니메이션이 사용됩니다. 이 중, 볼류메트릭 비디오(Volumetric Video)라는 기술은 사람이나 사물을 여러 카메라로 촬영한 후, 이를 3D로 재구성해 사용자가 자유롭게 시점을 바꿀 수 있게 합니다. 예를 들어, 게임 캐릭터가 춤을 출 때, 옆에서 보다가 뒤에서 볼 수도 있는 기술입니다. 이 기술은 가상현실(VR), 증강현실(AR)이나 실시간 화상회의에서 매우 유용합니다. 그런데, 이 기술에는 몇 가지 제약사항이 존재합니다. 예를 들어 긴 영상(예: 5분 이상)을 만들려고 하면, 컴퓨터가 처리해야 할 데이터가 너무 많아서 그래픽카드(GPU)가 감당하기 어렵고, 파일도 너무 커져 저장하기도 힘듭니다. 게다가 영상이 길어질수록 처리 속도..

1. 서론최근 나오는 기술들을 보면, 가상 현실(VR) 및 증강 현실(AR)을 넘어 현실과 가상 세계의 경계가 모호하게 느껴질 정도입니다. 그리고 그것의 바탕에는 현실과 유사한 환경을 지속적으로 생성할 수 있는 기술들이 점점 더 중요해지고 있죠. 게임 엔진, 시뮬레이터, 그리고 딥러닝 기술의 발전은 가상 세계의 정밀도와 몰입도를 크게 향상시키며, 동시에 다양한 산업과 일상생활에서 활용 가능한 새로운 가능성을 제시해 주고 있습니다.  특히, 인공지능을 활용한 '세계 생성' 기술은 단순히 시각적인 요소를 넘어 사용자와 실시간으로 상호작용할 수 있는 환경을 만들어내는 데 주목받고 있습니다. 이번에 소개하는 'The Matrix'는 유명 영화 제목과 동일한 명칭을 사용한 의도에서 느껴지듯, 가상 세계를 만들기 ..

고화질의 3D 장면 렌더링 재구성 기술  LE3D(Lighting Every Darkness with 3DGS)는 여러 각도에서 찍은 노이즈가 많은 원시 이미지를 빠르게 학습해서 실시간으로 3D 장면으로 렌더링해서 재구성하는 기술입니다. 이를 위해 3DGS (3D Gaussian Splatting)이라는 새로운 방법을 사용하게 되는데 이는 장면들을 많은 작은 3D Gaussian 점들로 표현해 실시간을 렌더링하는 방식입니다. 기존 방식들과의 차별화되는 특징으로는 상대적으로 아주 적은 훈련 시간이 필요하다는 것과 노이즈가 많은 이미지에서도 고화질의 HDR 이미지를 생성할 수 있다는 것, 그리고 2K 해상도의 고화질 이미지를 실시간 렌더링해 낼 수 있다는 것 등이 있습니다.   이미지 리포커스 효과도 줄 수..