CoTracker3 : 간단하고 효율적인 포인트 트래킹 모델

1. 서론

포인트 트래킹(point tracking)은 영상 분석 분야에서 중요한 역할을 담당하며, 특히 3D 재구성 및 비디오 편집 같은 작업에서 정확한 포인트 간의 대응 관계를 복구하는 데 사용됩니다. 최근에는 트랜스포머 기반 설계가 도입되어 포인트 트래킹 모델의 정확도가 크게 향상되었습니다. 하지만 대부분의 최신 모델은 합성 데이터를 주로 학습에 사용하며, 이는 실제 비디오 데이터와의 통계적 차이로 인해 성능 저하를 초래할 수 있습니다.

 

이 논문에서 소개된 CoTracker3 모델은 간단한 아키텍처와 반지도 학습(semi-supervised learning)을 활용하여 기존 모델보다 더 적은 데이터로도 높은 성능을 달성할 수 있음을 보여줍니다. 특히, CoTracker3는 기존 모델에서 필요하다고 여겨졌던 몇 가지 복잡한 컴포넌트를 제거하거나 단순화하면서도 성능을 유지하거나 개선합니다.

 

이 글에서는 CoTracker3이 기존 방식과 어떻게 다른지와 제안된 모델 구체적인 기술적 세부 사항을 살펴보겠습니다.

 

---

2. 본론

2.1 기존 방식의 문제점

• 합성 데이터의 한계
  대부분의 포인트 트래킹 모델은 자동으로 주석이 달린 합성 데이터에 의존합니다. 그러나 합성 데이터는 실제 영상 데이터와 통계적 차이가 있어 성능 저하를 야기하며 이는 결과적으로 실제 상황에서의 트래킹 결과에 신뢰도를 떨어뜨릴 수 있습니다.
• 복잡한 아키텍처와 높은 데이터 요구량
  최신 모델은 높은 성능을 위해 복잡한 설계와 수백만 개의 비디오 데이터를 필요로 합니다. 예를 들어, BootsTAPIR는 1,500만 개 이상의 비디오 데이터를 학습에 사용했지만 이는 계산 자원과 시간 측면에서 비효율적입니다.

2.2 접근 방식

CoTracker3는 단순하고 효율적인 설계를 통해 기존 포인트 트래킹 모델의 한계를 극복하고 있습니다. 

그림 : CoTracker3의 아키텍처

 

위 그림은 CoTracker3의 아키텍처로 CoTracker3 모델이 비디오에서 포인트를 추적하는 전체 과정를 설명하고 있습니다. CNN을 이용해 비디오 각 프레임으로부터 Feature Map을 추출하고 여기서 특정 포인트 주변의 특징을 추출한 후 4D 상관 특징 계산합니다. 그런 뒤 트랜스포머로 포인트 위치(P), 가시성(V), 신뢰도(C) 등을 반복적으로 업데이트해서 최종적으로 가장 정확한 값을 예측하게 됩니다. 

 

CoTracker3는 단순한 아키텍처와 새로운 반지도 학습 방식을 도입하여 기존의 한계를 극복합니다.

• 반지도 학습
  CoTracker3는 기존 모델에서 추출된 정보를 활용해 실제 비디오 데이터에 대한 의사 라벨(pseudo-label)을 생성합니다. 이를 통해 데이터의 통계적 차이를 줄이고 모델 성능을 개선합니다. 참고로 합성 데이터는 주석(annotation)을 쉽게 생성할 수 있지만 실제 비디오 데이터와 분포 차이가 큰데 의사 라벨은 실제 데이터에서 생성되므로, CoTracker3는 학습 중 합성 데이터와 실제 데이터 간의 분포 차이를 줄일 수 있습니다. 이런 특징으로 인해 15,000개의 실제 비디오로도 1,500만 개 비디오를 사용한 BootsTAPIR보다 높은 성능을 달성할 수 있었다고 합니다. 
• 효율성 향상
  모델 구조를 간소화하고 불필요한 컴포넌트를 제거하여 계산 효율성을 높였습니다.
  
  
  

2.3 세부 적용 기술

• 4D 상관 특징(Correlation Features) : 포인트 이동을 정확히 파악
  CoTracker3는 각 프레임에서 포인트 주변의 특징(예:이미지, 색, 모양 등) 벡터를 추출한 후, 이를 기반으로 4D 상관 특징을 계산합니다. 이는 모델이 포인트 간의 연관성을 학습하여 위치를 더 정확히 예측할 수 있도록 합니다. 뿐만 아니라 빛의 변화나 가려짐에도 더 안정적으로 추적할 수 있게 됩니다. 
• 트랜스포머 기반 반복 업데이트 : 단계 별 추적 정확도 개선 
  CoTracker3는 트랜스포머를 사용하여 추적 포인트와 가시성(visibility), 신뢰도(confidence)를 반복적으로 업데이트합니다. 이 과정을 통해 모델은 시점 간의 연속성을 학습하고 가려진 포인트에 대한 추적 정확도를 높입니다. 즉, 반복 업데이트를 통해 작은 오류를 점진적으로 수정하여 최종 결과의 정확도를 높일 수 있게 되는 것입니다. 
• 오프라인 및 온라인 모드 : 다양한 응용 시나리오 지원
  CoTracker3는 오프라인(전체 비디오를 한 번에 처리)과 온라인(슬라이딩 윈도우 방식으로 처리) 모드를 지원합니다. 오프라인 모드는 가려진 포인트를 더 잘 추적하며, 온라인 모드는 실시간 처리에 적합합니다.
• 단순화된 아키텍처 : 효율성 극대화 
  기존의 글로벌 매칭 단계(global matching)를 제거하고 간단한 MLP(다층 퍼셉트론)를 사용하여 속도를 27% 개선했습니다. 참고로 글로벌 매칭(Global Matching) 과정은 포인트 간의 전역적인 관계를 분석하는데 사용되는데 성능 향상에 도움이 되지 않는 경우도 있었습니다. 

 

그림 : CoTracker3와 기존 모델 간의 비교 결과

 

2.4 제약사항

• 가려진 포인트를 추적할 때 오프라인 모드가 더 우수하지만, 메모리 제한이 발생할 수 있습니다.
• 반지도 학습은 의사 라벨의 품질에 의존하므로, 교사 모델의 다양성과 품질이 성능에 영향을 미칠 수 있습니다.

---

3. 결론

CoTracker3는 단순하고 효율적인 설계를 통해 기존 포인트 트래킹 모델의 한계를 극복했습니다. 제안된 반지도 학습 프로토콜은 적은 데이터로도 높은 성능을 달성했고 가려진 포인트나 화면에서 일시적으로 사라진 포인트도 추적에도 높은 성능을 보여줍니다. 향후 교사 모델의 다양성을 증가시키고 학습 데이터를 확장함으로써 추가적인 성능 향상을 기대할 수 있습니다. 

 

CoTracker3는 실생활에서의 3D 재구성 및 영상 편집과 같은 응용 분야에 적용 가능할 것으로 생각됩니다. 예를 들어 운전자 보조 시스템에서 자동차 전방 카메라를 이용해 주변 차량이나 보행자의 위치를 추적할 때 가려진 물체를 예측해 안전성을 높일 수 있고, 축구 경기 같은 스포츠에서 가려진 공의 위치를 정확히 추적할 수도 있을 겁니다. 게다가 모델 단순화를 통해 연산 효율을 높였기에 상대적으로 낮은 사양의 임베디드 장비에도 적용 가능할 것으로 예상되고 있스비다.  

---

4. 참고자료

• CoTracker3 프로젝트 사이트 (링크)
• 논문) CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos (링크)
• 코드) CoTracker3 깃헙 (링크)
• 데모) HuggingFace (링크)

 

---

5. Q&A

Q. CoTracker3는 기존 모델과 무엇이 다른가요?

CoTracker3는 단순화된 아키텍처와 반지도 학습 방식을 통해 적은 데이터로도 높은 성능을 달성합니다.

 

Q. 오프라인과 온라인 모드의 차이점은 무엇인가요?

오프라인 모드는 전체 비디오를 한 번에 처리해 가려진 포인트 추적에 강점을 가지며, 온라인 모드는 실시간 처리에 적합합니다.

 

Q. 이 모델은 어떤 응용 분야에 활용될 수 있나요?
CoTracker3는 3D 추적, 동적 3D 재구성, 비디오 생성 및 편집 등 다양한 작업에 활용될 수 있습니다.