목록동적토큰병합 (1)

AI 탐구노트

MrT5 : 바이트 수준 언어 모델을 위한 동적 토큰 병합

1.개요 단어 토큰화 방식의 모델의 경우, 문자 수준에서 발생하는 다양한 노이즈(예; 철자 오류)와 언어, 사용 스크립트 등에 따라 일관성 없는 압축을 진행하는 등의 어려움이 있습니다. 그래서, 이에 대한 대안으로 바이트 수준으로 별도 토큰화가 없는 모델로 ByT5(Byte -leve T5)같은 모델이 등장했습니다. 하지만, 이들은 텍스트 전처리에서 토크나이제이션을 사용하지 않으나, 그로 인해 긴 입력 시퀀스를 처리하므로 연산 속도가 느리고 자원이 많이 소모되는 문제가 있습니다.  * ByT5 : 구글의 mT5(Multilingual T5)를 바이트 수준 입력으로 처리할 수 있도록 수정한 모델* T5 : 구글에서 개발한 언어 모델 'Text To Text Transfer Transformer'를 의미함...
AI 기술 2024. 10. 31. 15:57
이전 Prev 1 Next 다음