AI 탐구노트

게임이나 영화, 가상현실 같은 분야에서는 현실처럼 보이는 3D 공간을 만들어내는 기술이 매우 중요합니다. 예를 들어, 게임 속에 등장하는 건물이나 거리, 또는 AR(증강현실)에서 보이는 가상의 물체들도 모두 이런 3D 기술 덕분에 만들어집니다. 그런데 이런 3D 장면을 만들려면 보통 수십 장 이상의 사진이 필요합니다. 사진이 많을수록 다양한 각도에서 정보를 얻을 수 있기 때문이죠. 하지만, 현실에서는 그렇게 많은 사진을 찍기가 어렵습니다. 그래서 최근에는 단 몇 장의 사진, 심지어는 두 장의 사진만으로도 3D 장면을 만들어보려는 연구가 활발하게 이루어지고 있습니다. VideoScene이라는 기술은 이런 배경에서 나오게 되었습니다. 단 두 장의 이미지를 입력하면, 마치 카메라가 장면 사이를 날아다니며 촬영..

최근 인공지능 기술은 단순한 이미지 생성에서 나아가, 3D 객체와 장면까지 자동으로 생성해내는 수준에 도달했습니다. 특히 게임, 메타버스, 시뮬레이션, 영화 특수효과 등에서 고품질 3D 콘텐츠에 대한 수요는 꾸준히 증가하고 있습니다. 그러나 이처럼 정교한 3D 세상을 만드는 일은 여전히 시간과 비용이 많이 드는 작업입니다. 그렇기 때문에 인공지능 기술을 활용해 이를 자동화하고, 창의적인 작업에 더 많은 시간을 쓸 수 있도록 하는 시도가 활발히 이어지고 있습니다. 특히 주목할 만한 점은, 최근에는 텍스트만 입력하면 AI가 상상력을 발휘해 3D 공간을 생성해주는 기술들이 속속 등장하고 있다는 점입니다. 그러나 기존의 많은 기술들은 개별 객체 생성에 머물거나, 생성된 공간이 정적인 '버블'에 가깝다는 한계를 ..

FLEX3D는 다수의 시각적 입력을 활용해 텍스트 또는 이미지로부터 고품질의 3D 콘텐츠를 생성하는 모델입니다. 기존 다중 뷰 확산 모델은 다중 뷰 이미지를 합성하되 적은 수의 뷰만을 사용하고 이후 다시 3D 재구성을 위한 피드포워드 프로세스르 사용합니다. 이로 인해 생성된 시점들의 품질이 낮을 경우엔 최종 3D 재구성 결과물의 품질이 떨어지는 문제가 있었습니다.   FLEX3D는 이런 문제를 후보 뷰 생성 및 큐레이션 파이프라인 소개, 유연한 FlexRM 아키텍처 설계, 모델의 견고성을 향상시키기 위해 불완전한 입력 뷰를 시뮬레이션하는 새로운 교육 전략 등을 적용해 해결하고 있습니다.    위 그림을 보면 FLEX3D는 두 단계로 나누어 동작합니다. 첫 번째 단계에서는 후보 시점 생성 및 선별 과정으로..