AI 탐구노트

스마트폰 하나로 얼굴을 촬영하고, 그 이미지만으로 정교한 3D 모델을 만들어 낼 수 있다면 어떤 일이 가능할까요? 최근 인공지능 기술의 발전은 이러한 상상을 현실로 바꾸고 있습니다. 게임, 메타버스, 가상 회의, 그리고 개인 맞춤형 콘텐츠 제작에 이르기까지, 고품질 3D 얼굴 생성 기술은 다양한 분야에서 활발히 활용되고 있습니다. 하지만 2D 이미지 하나만 가지고 정확하고 자연스러운 3D 얼굴을 만드는 것은 매우 어려운 일입니다. 왜냐하면 한 장의 사진은 특정 각도에서만 얼굴 정보를 담고 있기 때문에, 다른 각도의 모습을 추론해내는 데에는 많은 한계가 있기 때문입니다. 이런 한계를 극복하기 위한 기술로 'PercHead'라는 강력한 인공지능 모델과 훈련 전략을 통해 단일 이미지에서도 고품질의 3D 얼굴을..

요즘 웹사이트를 보면 단순히 글과 사진만 있는 게 아니라, 3D로 된 제품이나 공간을 직접 돌려보고 확대할 수 있는 경우가 많습니다. 예를 들어 부동산 사이트에서 아파트를 3D로 둘러본다거나, 쇼핑몰에서 가구를 여러 각도에서 확인할 수 있는 기능이 그렇습니다. 이런 것들 가운데 약간은 이름이 친숙한 Three.js와 node 기반으로 만들어진 것이 Reall3dViewer 입니다. Reall3dViewer 1️⃣ 개요Reall3dViewer는 웹에서 3D 장면을 보여주고 다룰 수 있도록 만든 뷰어(Viewer)입니다. 특히 최근 주목받는 Gaussian Splatting 기술을 사용해서, 기존보다 훨씬 더 자연스럽고 사실적인 장면을 표현할 수 있습니다. 쉽게 말해, 사진 수백 장을 모아 현실과 비슷..

자연스러운 3D 세계를 한 장의 이미지나 짧은 텍스트에서 바로 펼쳐 보이는 능력은 공간지능의 핵심입니다. 최근 생성형 비디오 모델이 장면의 다양한 관점을 만들어내는 데 강점을 보이며, 자율주행 시뮬레이션이나 로보틱스·VR 같은 응용에서 활용되고 있죠. 하지만 대부분의 기법은 좁은 시야의 투영 이미지를 중심으로 동작하여, 카메라를 크게 돌리거나 이동하면 경계가 깨지고 몰입감이 떨어지는 문제가 있었습니다. 이 한계를 넘어설 수 있는 새로운 발상은 '처음부터 수평 360도 / 수직 180도를 모두 담는 파노라마'를 중간 표현으로 삼는 것입니다. Matrix-3D는 바로 이 선택을 통해, 조건부 비디오 생성과 파노라마 3D 재구성을 결합하여 어디로든(상하좌우 전방위) 탐사 가능한 3D 세계를 만들어냅니다. ..

3D 그래픽스 기술은 현실 세계를 가상 공간에 재현하는 데 중요한 역할을 하고 있습니다. 최근에는 인공지능 기술을 활용한 NeRF(Neural Radiance Fields)나 Gaussian Splatting 같은 방식이 각광받고 있습니다. 이러한 기술은 사진 몇 장만으로 정교한 3D 장면을 복원할 수 있지만, 학습에 시간이 오래 걸리고 실시간 렌더링에 어려움이 있다는 단점도 있습니다.흥미로운 점은, 과거부터 지금까지 게임 엔진이나 실시간 그래픽스에서는 삼각형(triangle)이라는 단순한 도형이 핵심 요소로 사용되고 있다는 것입니다. 그래픽카드(GPU)는 삼각형 처리에 최적화되어 있어 매우 빠르게 이미지를 렌더링할 수 있습니다. 그러나 기존의 인공지능 기반 기술에서는 삼각형을 직접 활용하기가 어려웠고,..

최근 인공지능 기술의 급격한 발전은 단순한 이미지 생성에서 나아가 3차원 공간에서의 사실적인 객체 생성까지 가능하게 만들었습니다. 특히 영화, 게임, 메타버스 등 다양한 분야에서는 고품질의 3D 인간 모델링 수요가 증가하고 있습니다. 이러한 배경 속에서 기존의 복잡한 3D 스캔 작업 없이, 2D 이미지에서 사실적인 3D 머리를 생성하는 GAN 기술이 다시금 주목받고 있습니다. 확산 기반 기술의 대두로 한동안 수면 아래로 사라졌던 GAN 기술이 말입니다! 하지만 기존의 GAN 기술은 고품질 렌더링을 위해 시점 정보를 학습에 포함시켰고, 이로 인해 한 시점에서 높은 품질을 얻을 수는 있지만, 다른 시점에서는 인물의 정체성이 바뀌는 문제가 발생했습니다. 이를 해결하기 위한 새로운 시도로, 시점 정보 없이도 3..

우리가 보는 세상을 컴퓨터가 3차원으로 다시 그릴 수 있게 하는 기술은 가상현실(VR), 자율주행, 게임, 디지털 영화 제작 등 다양한 분야에서 매우 중요합니다. 최근에는 'NeRF'라는 기술이 큰 인기를 끌었는데요, 이 기술은 2차원 이미지 몇 장만으로도 3차원 장면을 매우 정밀하게 재현할 수 있습니다. 다만, 학습 시간이 오래 걸린다는 단점이 있었습니다. 이를 해결하기 위해 최근에는 '3D 가우시안 스플래팅(3D Gaussian Splatting, 줄여서 3DGS)'이라는 새로운 방식이 나왔습니다. 이 방식은 장면을 여러 개의 작은 점(가우시안 덩어리)으로 구성해 매우 빠르게 3D를 재현할 수 있습니다. 하지만 이 방식도 문제가 있습니다. 처음에는 장면 전체를 표현하지 못해서, 점을 조금씩 추가하고 ..

현대 사회에서 메타버스와 같은 가상 공간은 점점 더 중요한 산업으로 자리잡고 있습니다. 특히 증강현실(AR), 가상현실(VR), 게임, 영화 산업에서는 현실과 유사한 인간 아바타를 빠르게 생성하고 이를 애니메이션화하는 기술이 핵심입니다. 과거에는 이와 같은 작업을 위해 다각도의 촬영, 정밀한 센서, 오랜 후처리 시간이 필요했지만, 최근 AI 기술의 급속한 발전은 단 한 장의 이미지로 3D 아바타를 생성하려는 시도를 가능하게 만들고 있습니다. 하지만 단일 이미지로 3D 아바타를 생성하는 것은 여전히 큰 도전입니다. 사람의 형태, 옷의 주름, 얼굴의 정밀한 표정까지 재현하려면 높은 수준의 공간적 추론과 표현력이 필요하기 때문입니다. LHM(Large Animatable Human Reconstruction ..

요즘 가상 인간(디지털 휴먼) 기술이 주목받고 있습니다. 예를 들어, 온라인 쇼핑에서 실제 사람처럼 제품을 소개하는 가상 모델이나, 가상 회의에서 사람처럼 움직이며 말하는 아바타가 점점 많아지고 있죠. 이런 아바타를 만들기 위해서는 사실적인 얼굴 표정, 자연스러운 몸짓, 그리고 다양한 의상을 표현할 수 있어야 합니다. 그런데 이런 기능을 다 넣으면서도 스마트폰이나 AR 안경처럼 성능이 낮은 기기에서 실시간으로 동작하게 만드는 건 쉽지 않은 일이죠. 그러다보니 기존의 기술은 얼굴만 표현하거나, 컴퓨터에서만 작동하는 복잡한 방식이 많았습니다. 이런 문제를 해결하기 ㅜ이해 'TaoAvatar'라는 새로운 방법이 소개되었습니다. 이 방법은 전체 몸을 사실적으로 표현하고, 다양한 표정과 제스처까지 보여줄 수 있으..

다양한 동적 객체를 포함한 고해상도 도시 장면 재구성을 위한 통합 3DGS 프레임워크 OmniRe는 다양한 동적 객체를 포함한 고해상도 도시 장면을 효율적으로 재구성하는 통합적인 3DGS(3D Gaussian Splatting) 프레임워크입니다. 기존의 도로 주행 장면 재구성 방법들은 주로 차량에만 초점을 맞추고, 보행자 및 자전거 이용자와 같은 비차량 동적 객체를 간과하여 장면 재구성의 완성도를 떨어뜨렸습니다. 이는 특히 복잡한 도시 환경에서 다양한 객체와 동작을 정확히 모델링하는 데 어려움을 야기했습니다.OmniRe는 Gaussian 표현에 기반한 동적 신경 장면 그래프를 사용하여, 차량뿐만 아니라 보행자, 자전거 이용자 등 다양한 동적 객체를 포괄적으로 재구성합니다. 이를 위해 각 객체의 동적 움직..