Genie : 2D 대화형 게임 생성 AI

스케치 등의 이미지를 기반으로 주어지는 프롬프트를 이용해 사용자가 컨트롤할 수 있는 2D 대화형 게임을 만드는 생성형 AI

 

Genie는 구글이 게임 메커니즘에 대한 사전 교육이 없이 사진이나 AI 생성 이미지, 개인이 직접 그린 스케치 등의 이미지를 기반으로 주어지는 프롬프트를 이용해 사용자가 컨트롤할 수 있는 2D 대화형 게임을 만드는 생성형 AI입니다. 

 

기초 세계모델(foundation world model)로 시공간 비디오 토크나이저, 자동회귀 역학 모델, 그리고 확장 가능한 잠재 동작 모델로 구성됩니다. 20,000 시간 이상의 2D 인터넷 게임 비디오 영상 데이터셋으로 훈련해 게임 플레이를 자율적으로 이해하게 되었다고 합니다. 캐릭터의 동작에 대한 훈련을 별도로 하지 않았음에도 학습된 잠재 행동 공간을 통해 사용자가 프레임 별로 캐릭터를 제어할 수 있다고 합니다.

 

훈련 에이전트가 비디오 상의 행동을 모방할 수 있도록 함으로써, 게임이 아닌 일반. 실생활을 에이전트로 훈련할 수 있는 가능성도 열었습니다. 앞서 언급된 것처럼 어떤 이미지든 이용할 수 있다고 했으므로 현실 세계의 사진을 이용해서 환경을 생성하고 그 속에 있는 사람이나 로봇 등의 캐릭터를 가상화시킨 세계를 만드는 것도 머지 않았다는 생각이 듭니다. 그것도 개인이 많은 비용이나 기술적인 어려움없이 말이죠.

참고로 Genie는 연구목적으로 논문과 결과 예시만 공개된 상태입니다.

 

 

사진 : Genie 모델의 학습

 

 

사진 : Genie 개요 소개

 

 

참고) 사이트, 논문