목록entropy-based patching (1)

AI 탐구노트

APT : 이미지 복잡도에 따라 패치 크기를 바꾸는 ViT 가속 기법

Vision Transformer(ViT)는 이미지를 일정한 크기의 patch로 나누어 token으로 변환한 뒤, self-attention 구조를 통해 전체 이미지를 이해합니다. 하지만 문제는, 하늘처럼 단순한 영역과 사람 얼굴처럼 복잡한 영역을 모두 같은 크기와 개수의 patch로 처리한다는 점입니다. 이런 방식은 불필요하게 긴 token 시퀀스를 만들고, self-attention의 계산량이 token 수의 제곱에 비례하기 때문에 훈련과 추론 모두 매우 느려집니다. 이런 문제를 해결하기 위해 Adaptive Patch Transformer(APT) 라는 간단하면서도 실용적인 방식이 제안되었습니다. 핵심 아이디어는 이미지의 내용(content) 에 따라 patch 크기를 바꾸는 것입니다. 즉, 하늘이..
AI 기술 2025. 10. 30. 18:51
이전 Prev 1 Next 다음