FlowSAM : 영상에서 물체를 분할하는 모델

FlowSAM은 영상에서 움직이는 물체를 분할하는 모델

 

FlowSAM은 SAM 모듈과 Optical Flow를 사용하여 영상에서 움직이는 물체를 정확하게 분할하는 모델입니다. SAM(Self-Attention Mask) 모듈은 이미지에서 움직이는 물체와 배경을 구별하는데 사용되는 Attention 메커니즘으로 이미지의 특징을 효과적으로 학습하고 모델이 움직이는 물체에 집중하도록 하여 결과적으로 정확도를 향상시키도록 합니다. Optical Flow는 프레임 간 픽셀 이동을 추적해 움직임을 감지하는데 사용되는 기술로 움직임, 여기서는 특히 저속에서의 객체를 분할하는데 도움을 줍니다.

 

일반적으로 이미지에서 객체 분할을 하는 것에 비해 동영상에 적용되는 것이다보니, 감지 개체의 동일성을 유지하는 부분이 중요한데 이를 위해 시퀀스 수준 분할로 확장하는 기능을 제공하며. 특징으로는 높은 정확도, 실시간 영상 지원, 간단한 구조로 학습이 용이하다는 것 등이 있습니다.

 

사진: 연구진이 검토한 세가지 방법

 

 

사진: FlowI-SAM의 개요

 

 

참고) 프로젝트, 논문, 코드