구글 딥마인드, 사람 수준의 탁구 로봇 에이전트 공개

구글 딥마인드에서 인간 아마추어 수준의 성능을 달성한 탁구 로봇 에이전트를 공개 했습니다. (링크)

 

어? 이상하다... 예전에도 이런 로봇을 본 것 같은데? 하는 분도 있을 겁니다. 실제로 이런 상상으로 만들어진 로봇들이 제법 있기 때문입니다. 예를 들어 2014년 로봇 업체 KUKA가 광고로 만든 영상에도 이런 장면이 나옵니다. 최근에는 영상에서 사람을 휴머노이드 로봇으로 바꿔치기한 가짜 영상들도 많이 볼 수 있죠. 실제 상황을 지원하는 로봇으로 제가 아는 최고는 OMRON사의 제품(영상)입니다. 

 

연구진은 로봇 에이전트를 개발하기 위해, 계층 구조로 나눠진 모듈들을 사용해서 로봇이 여러 가지 탁구 기술을 배우도록 했고, 시뮬레이션에서 학습한 기술을 현실에서 바로 사용할 수 있도록 하는 방법 ( "zero-shot sim-to-real")을 적용했다고 합니다. 결과적으로 로봇은 다양한 저수준 컨트롤러(LLC)를 통해 각각의 탁구 기술을 제어하고 고수준 컨트롤러(HLC)는 게임 상황에 따라 적절한 LLC를 선택하는데, 이 과정에서 상대방의 공의 속도, 위치, 스핀 등을 분석해 가장 적합한 기술을 실행한다고 하네요.

 

이번에 공개된 기술의 특징은 다음과 같습니다.

 

• 계층적 정책 아키텍처: 저수준 컨트롤러와 고수준 컨트롤러로 구성된 계층적 구조를 통해 다양한 탁구 기술을 효율적으로 학습하고 사용
• zero-shot sim-to-real: 현실 세계에서의 직접적인 미세 조정 없이 시뮬레이션에서 학습한 정책을 실제 로봇에 바로 적용할 수 있는 기술을 개발
• 실시간 적응: 처음 보는 상대와의 실시간 경기에서 상대의 스타일에 맞춰 전략을 수정하고 적응할 수 있는 능력 보유 

 

 

참고) 소개사이트, 논문, 영상

 

 

사진 : Agent의 처리 방식 개요

 

 

사진 : HLC가 상황에 따라 LLC를 결정하고 처리하는 방식 설명