목록Binary Mapper (1)

AI 탐구노트

Free Transformer : 토큰만 보던 트랜스포머에 ‘랜덤 상태 Z’를 넣어 더 똑똑하게

요즘 인공지능 모델들은 문장을 하나씩 이어서 만들어갑니다. 예를 들어, '오늘은 날씨가…' 하면, 그다음에 올 단어를 예측해서 '좋다'를 뱉는 식이죠. 이런 방식을 '오토리그레시브(autoregressive)' 라고 부릅니다. 그런데 이 방식에는 한 가지 아쉬운 점이 있습니다. 모델이 글 전체의 '기분'이나 '방향'을 미리 정하지 못한다는 겁니다. 예를 들어, 리뷰를 쓸 때 처음부터 ‘긍정적인 리뷰를 써야겠다’ 는 결심 없이 그때그때 단어를 뽑아내며 분위기를 맞춰가죠. 그래서 중간에 흐름이 꼬이거나, 앞뒤가 어색해지는 경우가 생깁니다. 이 논문은 이런 문제를 고치기 위해, 모델이 글을 쓰기 전에 '랜덤한 생각 하나(Z)'를 먼저 정하도록 만들었습니다. 즉 트랜스포머에 잠재변수(Z)를 추가한 것인데요, ..
AI 기술 2025. 10. 24. 21:06
이전 Prev 1 Next 다음