EgoPet : 개, 고양이 등 동물의 시점 영상 데이터셋

개, 고양이 등 다양한 동물의 시점에서 촬영된 자기 중심 영상 데이터

 

EgoPet은 개, 고양이 등 다양한 동물의 시점에서 촬영된 자기 중심 영상 콜렉션으로 동물의 행동과 주변 환경과의 상호 작용을 연구하는 데 사용할 수 있는 데이터셋입니다.

 

이제까지 주로 봐온 것이 사람이나 차량의 자기중심적 데이터이다 보니 동물 시점에서의 영상은 다소 생소했습니다. 데이터셋과 함께 시각적 상호작용 예측 (VIP), 이동예측 (LP), 비전에서의 고유한 지각 예측 (VPP) 등에 대한 벤치마크도 함께 제시되었는데, VIP, LP는 동물의 인식과 행동을 예측하고, VPP는 야생에서 로봇 이동의 다운스트림 작업에 대한 데이터셋의 유용성 연구에 유용할 것이라고 합니다. 결과적으로 동물의 행동, 인지, 시각 연구와 동물 로봇의 학습 및 제어, VR/XR 관련 기술 개발에 활용될 수 있을 것입니다.

 

데이터셋의 특징은 다음과 같습니다.

• 6646개의 영상 세그먼트로 구성된 819개의 비디오
• 개, 고양이, 독수리, 거북이, 늑대, 돌고래 등등 총 84 종의 동물
• 동물의 이동, 탐색, 물건 다루기, 타 동물과의 상호작용 등 다양한 행동 영상
• 고해상도 영상 및 동기화된 센서 데이터(IMU, 깊이 센서, GPS) 포함

 

사진: EgoPet 데이터셋의 샘플 및 3개의 벤치마크 영역

 

 

사진: 데이터셋에서의 동물 분포

 

 

 

참고) 프로젝트, 데이터셋, 논문, 코드