AI 탐구노트

웹 데이터로 훈련된 비전-언어 모델을 로봇 제어에 통합하여, 일반화와 의미적 추론 능력을 크게 향상시킨 비전-언어-액션(VLA) 모델 RT-2는 구글 딥마인드가 다양한 일상 환경에서의 로봇 제어를 위해 만든 인공지능 모델입니다. 기존 로봇 제어 모델은 주로 고정된 시나리오에서 훈련되어 일상의 다양한 환경에 적용되기에는 어려움이 있었습니다. RT-2는 이런 문제를 해결하기 위해 웹 데이터로 훈련된 비전-언어 모델(VLM)을 로봇 제어에 통합하여, 일반화와 의미적 추론 능력을 크게 향상시켰습니다. 로봇의 행동을 텍스트 토큰으로 표현하고, 비전-언어 모델을 로봇 제어 데이터와 웹 스케일의 비전-언어 태스크로 공동 미세 조정(co-fine-tuning)하여 일반화 성능을 향상시켰죠.   예전에 구글 내에서 음료..

딥마인드의 로봇 제어를 위한 인공지능 모델  구글 딥마인드가 발표한 로봇 제어를 위한 인공지능 모델입니다. 공식페이지에는 웹 스케일 데이터로 사전 훈련된 VLM(시각적 언어모델)을 로봇 데이터를 학습하도록 해서 로봇을 제어할 수 있는 새로운 VLA(vision-language-action) 모델인 RT-2를 만든 것으로 소개하고 있습니다. 예전에 구글 내에서 음료수캔 등을 수거하는 로봇이 돌아다니는 영상을 본 적이 있었는데 벌써 몇번의 기술적인 점핑을 한 것 같습니다.  참고) RT-1 (Rototic Transformer 1) : 로봇데이터의 작업과 개체의 조합을 학습할 수 있는 다중 작업 시연에 대해 훈련된 모델입니다.