LATTE3D : 텍스트-3D 생성 모델

 

NVIDIA가 발표한 Text to 3D 생성 모델

 

LATTE3D( Large-scale Amortized Text-To-Enhanced 3D Synthesis )는 NVIDIA에서 발표한 Text-3D 생성 모델입니다.복잡한 3D 개체를 단일 GPU 상에서 단 몇 초만에 뚝딱 만들어낼 수 있습니다. 

 

LATTE3D는 GPT를 사용하여 프롬프트를 규격화하고, 사전 학습된 네트워크로 한번 생성된 결과물의 잠재 벡터를 다시 사용하는 방식을  택했고, 3D개체의 volume과 texture를 분할생성하는 방식으로 생성속도와 정밀함이라는 두 마리 토끼를 다 잡았다고 합니다.

 

생성된 결과물은 오픈 USD(Universal Scene Description, OpenUSD) 기반 3D 워크플로우와 애플리케이션에서 사용할 수 있으며, 사용자가 손쉽게 텍스트만으로 원하는 3D모델을 순식간에 만들고 이를 가상현실, 게임 개발, 가상 시뮬레이션 등에서 활용할할 수도 있습니다.

 

 

사진: LATTE3D 모델 네트워크

 

 

참고) 프로젝트, 논문, 영상