목록로그잇 기반 예측 (1)

AI 탐구노트

Inferring from Logits : 디코딩 없는 생성 모델 후보 선택,최적의 접근법 탐색

인공지능(AI) 언어 모델이 발전하면서, 자연어 처리(NLP)에서의 활용 범위가 확장되고 있습니다. 일반적으로 생성형 언어 모델(Generative Language Model, GLM)은 Autoregressive 방식으로 토큰을 하나씩 생성하며 출력을 구성합니다. 하지만 일부 과제에서는 모델이 여러 개의 후보 중에서 적절한 정답을 선택하는 능력이 요구됩니다. 예를 들어, 선택형 질문 답변(MCQA), 극한 라벨 분류(extreme label classification), 의료 진단 등의 작업에서는 사전 정의된 후보군에서 최적의 답변을 골라야 합니다. 전통적인 방식은 전체 문장을 생성한 후, 후보군과 비교하여 가장 적합한 정답을 선택하는 것입니다. 하지만 이 방식은 시간이 오래 걸리고, 모델이 점진적으로..
AI 기술 2025. 2. 10. 10:37
이전 Prev 1 Next 다음