GameNGen : 신경망 기반의 게임 엔진

 

실시간 상호작용하며 시뮬레이션 가능한 신경망 기반의 게임 엔진

 

GameNGen은 구글에서 공개한 신경망 기반의 게임 엔진으로, 복잡한 환경을 실시간으로 상호작용하며 시뮬레이션할 수 있는 최초의 모델입니다. 

 

기존의 게임 엔진은 수작업으로 작성된 규칙과 로직에 따라 상태를 업데이트하고 렌더링하기 때문에 확장성과 자동화가 제한적입니다. 또한, 기존의 신경망 기반 시뮬레이션은 시뮬레이션 속도나 안정성, 또는 시각적 품질이 낮다는 한계가 있었습니다.

 

GameNGen은 강화 학습 에이전트를 통해 수집된 데이터를 바탕으로 확장된 Stable Diffusion 모델을 학습하여 실시간 상호작용이 가능한 게임 시뮬레이션을 구현했습니다. 이 모델은 행동과 이전 프레임들을 조건으로 다음 프레임을 예측하며, 노이즈 증강을 통해 자동회귀 생성 시 발생하는 품질 저하를 방지했습니다.

 

 

GemeNGen 모델은 다음과 같은 특징이 있습니다. 

 

• 실시간 상호작용: DOOM과 같은 복잡한 게임을 단일 TPU에서 20 FPS의 속도로 실시간으로 시뮬레이션
• 학습 과정: 강화 학습 에이전트를 통해 게임 플레이 데이터를 수집한 후, 이를 사용해 Stable Diffusion 모델을 학습
• 노이즈 증강: 자동회귀 생성 과정에서의 품질 저하를 방지하기 위해 노이즈 증강 기법을 사용
• 아키텍처 튜닝: 기존의 Stable Diffusion 모델을 게임 시뮬레이션에 맞게 확장하고, 프레임 예측의 정확성을 높이기 위해 일부 아키텍처를 튜닝

 

사진 : GameNGen의 방식 개요

 

 

GameNGen의 아키텍처는 다음과 같은 흐름으로 구성됩니다:

• 데이터 수집: 강화 학습 에이전트가 게임을 플레이하며 데이터 수집
• 데이터 전처리: 수집된 행동과 프레임 데이터를 조건으로 사용하기 위해 임베딩
• 프레임 예측: 이전 프레임과 행동 데이터를 조건으로 다음 프레임을 예측
• 노이즈 증강: 학습 시 이전 프레임에 노이즈를 추가하여 모델이 더 나은 품질을 유지하도록 학습

 

사진 : GameNGen을 이용한 둠 게임 예시

 

 

 

 

 

참고) 프로젝트, 논문, 코드