Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- 시간적 일관성
- LLM
- AI
- 생성형 AI
- 가상환경
- ubuntu
- 티스토리챌린지
- LORA
- 뉴럴링크
- 오블완
- 멀티모달
- TRANSFORMER
- AI 기술
- PYTHON
- OpenAI
- ControlNet
- 일론 머스크
- 인공지능
- 메타
- 확산 모델
- tts
- 트랜스포머
- 딥마인드
- ChatGPT
- 휴머노이드 로봇
- 우분투
- 오픈AI
- 딥러닝
- 서보모터
- 아두이노
Archives
- Today
- Total
목록시퀀스단축 (1)
AI 탐구노트
MrT5 : 바이트 수준 언어 모델을 위한 동적 토큰 병합
1.개요 단어 토큰화 방식의 모델의 경우, 문자 수준에서 발생하는 다양한 노이즈(예; 철자 오류)와 언어, 사용 스크립트 등에 따라 일관성 없는 압축을 진행하는 등의 어려움이 있습니다. 그래서, 이에 대한 대안으로 바이트 수준으로 별도 토큰화가 없는 모델로 ByT5(Byte -leve T5)같은 모델이 등장했습니다. 하지만, 이들은 텍스트 전처리에서 토크나이제이션을 사용하지 않으나, 그로 인해 긴 입력 시퀀스를 처리하므로 연산 속도가 느리고 자원이 많이 소모되는 문제가 있습니다. * ByT5 : 구글의 mT5(Multilingual T5)를 바이트 수준 입력으로 처리할 수 있도록 수정한 모델* T5 : 구글에서 개발한 언어 모델 'Text To Text Transfer Transformer'를 의미함...
AI 기술
2024. 10. 31. 15:57