목록MMBERT (1)

AI 탐구노트

MMBERT : 다국어 이해를 위한 현대적 인코더 모델

최근 AI 관련 소식들을 보면 문장이나 이미지, 영상을 생성하거나 혹은 코딩을 지원하는 사례가 대부분입니다. 하지만, 모든 AI가 '생성'에만 사용되는 것은 아니죠. 실제로 검색, 분류, 요약 같은 작업에서는 글을 이해하는 능력도 아주 중요합니다. 이런 작업에는 '인코더 전용 모델(encoder-only model)'이 더 적합합니다. 예를 들어 BERT 같은 모델은 새로운 글을 만들어내지는 못하지만, 글 속의 의미를 정확히 파악하는 데 강점이 있습니다.문제는 현재 널리 쓰이는 다국어 인코더 모델이 너무 오래됐다는 점입니다. 대표적으로 XLM-R(*) 모델이 있는데, 이미 6년 이상 된 모델임에도 여전히 표준처럼 쓰이고 있습니다. 그 사이 데이터 품질은 크게 개선되었지만, 최신 기법이 잘 반영되지 못했습..
AI 기술 2025. 9. 12. 16:11
이전 Prev 1 Next 다음