APGCC : 보조지점 안내 기반의 군중 카운팅

보조지점 지침(APG)과 암시적 특징보간(IFI)를 도입해 군중의 수를 카운팅하는 기법

 

 

APGCC는 보조지점 지침(APG)과 암시적 특징보간(IFI)를 도입해 군중의 수를 카운팅하는 기법입니다.

 

군중의 수를 세는 딥러닝 기반의 접근 방식은 다음과 같은 것들이 있습니다.

• CSRNet (Convolutional Neural Network based Crowd Counting) : CNN 기반의 이미지 밀도 예측 방식 
• MCNN (Multi-column Convolutional Neural Network) : 다양한 필터를 이용해 다양한 밀도 수준의 군중 수 측정 방식
• CAN (Context-Aware Network) : 군중 밀도 추정 시 컨텍스트 정보 활용하는 방식
• SFCN (Scale Fusion Convolutional Neural Network) : 다양한 스케일의 피처맵 통합해 군중 밀도 추정 방식 
• SCAR (Self-Correcting and Reinforcement Learning Model) : 강화학습 기반의 군중 카운팅 방식 

 

APGCC는 점 기반 군중 수 계산에서 추가적인 점 제안과 매칭을 개선한 모델입니다.

 

점 기반 군중 계산 방식이란 밀도 맵 추정(Density Map Estimation)을 사용한 군중 수 계산 방법의 하나로, 이미지에서 사람의 머리 부분에 해당하는 위치를 점으로 표시한 후 이를 기반으로 군중 수를 추정하는데 각 점은 사람의 위치, 이를 확장한 연속적인 밀도맵을 형성하고 이를 합산해서 최종 군중 수를 계산하게 됩니다.

 

점 기반 군중 계산 방법은 매칭 과정의 불안정성(모델이 사람이 있는 점을 다르게 제안)으로 인해 정확한 위치 추정이 어렵고 이 때문에 모델이 학습 중에 각 에포크마다 서로 다른 점 제안을 매칭하게 되어 일관성 없는 학습이 이뤄지게 되는 문제가 있습니다. 

 

보조점가이드(APG: Auxiliary Point Guidance)는 점 제안 과정에서 더 정확한 매칭을 돕고, 암묵적 특징보간(IFI: Implicit Feature Interporation)은 다양한 군중 상황에 맞춰 특징을 추출하고 더 정밀한 계산을 할 수 있게 해 줍니다. 

 

사진 : APGCC 방식 설명

 

 

제안된 아키텍처는 VGG-16 백본 네트워크를 사용하여 이미지 특징을 추출하고, 추출된 특징을 다양한 크기로 처리하기 위해 ASPP(Atrous Spatial Pyramid Pooling)를 적용합니다. 그런 다음, 암시적 특징 보간을 통해 임의의 위치에서 특징을 추출하고, 이를 기반으로 제안의 신뢰도와 오프셋을 예측합니다. APG는 이 학습 과정에 추가적인 지침을 제공해 제안-목표 매칭의 안정성을 향상시킵니다.

 

*제안-목표 매칭 : 이미지에서 사람이 위치할 수 있는 점 제안한 것과 실제 사람의 위치(목표)간의 매칭

 

사진 : 모델의 성능 비교 (좌), APGCC 적용 시의 불안정률 (Instability Rate) 비교(우)

 

 

 

참고) 프로젝트, 논문, 코드, 영상