목록point tracking (1)

AI 탐구노트

TAPTR

TAPTR(Tracking Any Point with TRansformer)은 비디오의 모든 점을 트랜스포머를 사용하여 효율적으로 추적하는 프레임워크입니다. 기존의 Optical Flow 추정 방식은 두 연속된 프레임 간의 상관 관계를 추적할 수 있도록 했지만, 장기적인 시간 정보를 처리하지 못해 추적 대상이 가려지거나 하는 경우에 이를 제대로 처리하지 못하는 문제가 있었습니다. 뿐만 아니라, 기존 방법들은 서로 다른 프레임의 추적 점들의 정보가 서로 교환되지 않기 때문에 같은 객체에 속한 점들 간에도 상관관계가 무시되는 한계가 있었습니다.  TAPTR은 이런 문제를 DETR(Detection Transformer) 모델에서 영감을 받아, 각 비디오 프레임의 각 추적점을 포지션과 콘텐츠로 나눠 쿼리로 표..
AI 기술 2024. 8. 8. 20:42
이전 Prev 1 Next 다음