목록SAM-2 (1)

AI 탐구노트

Sa2VA : 말로 지시하면, 그 대상을 영상 속에서 찾아 마스크로 표시하는 멀티모달 모델

사진이나 영상을 보면서 '파란 후드를 입은 사람만 골라줘', '앞차 색깔이 뭐야?', '이 장면을 한 문장으로 설명해줘'를 한 번에 해내는 모델을 떠올려 봅시다. 지금까지는 대화(질문–답변)에 강한 멀티모달 LLM과, 물체 경계(마스크)까지 정확히 그리는 인지 모델이 따로 놀 때가 많았죠. 대화형 모델은 “말귀는 잘 알아듣지만 손은 못 움직이고”, 분할(세그멘테이션) 모델은 “경계는 잘 그리는데 말은 못 알아듣는” 식이었습니다.이 논문 Sa2VA는 바로 그 간극을 메웁니다. 저자들은 SAM-2(영상 분할·추적의 기초 모델)와 LLaVA 계열(MMLM, 대화·이해에 강한 모델)을 한 그릇에 담아, 이미지/비디오 대화, 지시형 분할(Referring Segmentation), 근거가 있는 캡션 생성을 단일 ..
AI 기술 2025. 10. 25. 12:51
이전 Prev 1 Next 다음