Inferring from Logits : 디코딩 없는 생성 모델 후보 선택,최적의 접근법 탐색

 

인공지능(AI) 언어 모델이 발전하면서, 자연어 처리(NLP)에서의 활용 범위가 확장되고 있습니다. 일반적으로 생성형 언어 모델(Generative Language Model, GLM)은 Autoregressive 방식으로 토큰을 하나씩 생성하며 출력을 구성합니다. 하지만 일부 과제에서는 모델이 여러 개의 후보 중에서 적절한 정답을 선택하는 능력이 요구됩니다. 예를 들어, 선택형 질문 답변(MCQA), 극한 라벨 분류(extreme label classification), 의료 진단 등의 작업에서는 사전 정의된 후보군에서 최적의 답변을 골라야 합니다.

 

전통적인 방식은 전체 문장을 생성한 후, 후보군과 비교하여 가장 적합한 정답을 선택하는 것입니다. 하지만 이 방식은 시간이 오래 걸리고, 모델이 점진적으로 학습할 수 없도록 하는 단점이 있습니다. 이에 따라 디코딩 없이 로짓(logits) 정보를 활용해 정답을 추론하는 방법이 등장했습니다. 이러한 접근법은 모델이 직접 특정 후보를 선택하는 것이 아니라, 단일 토큰의 확률 분포를 분석하여 정답을 결정하는 방식입니다.

---

 

기존 후보 선택 방식의 제약사항

기존의 후보 선택 방식은 주로 전체 문장을 디코딩한 후, 이를 후보군과 비교하여 최적의 정답을 찾는 방식이었습니다. 그러나 이러한 방식은 다음과 같은 문제를 갖고 있습니다.

• 시간과 자원 소모 : AutoRegressive 방식으로 토큰을 하나씩 생성해야 하므로 연산 비용이 높고, 특히 정답 후보군이 많은 경우 디코딩 과정이 매우 비효율적입니다.
• 그래디언트 소실 문제 : 생성된 문장이 정답 후보와 일치하지 않으면, 모델이 적절한 피드백을 받을 수 없어 학습을 최적화하기 어려운 구조를 가집니다. 
• 출력의 제한 : 디코딩 방식은 모델의 출력을 자유롭게 확장하기 어려우며, 정해진 형식에 맞춰야 합니다.

 

디코딩 없이 후보를 선택하는 방식

 

본 논문에서는 디코딩 없이 후보를 선택하는 방법을 분석합니다. 이는 로짓(logits) 정보를 이용하여 정답을 직접 예측하는 방식입니다. 구체적으로, 다음과 같은 절차를 따릅니다.

• 입력을 모델에 제공하여, 첫 번째 출력 토큰의 로짓 값을 계산합니다.
• 후보군의 각 토큰에 대한 로그잇 값을 추출합니다.
• 다양한 방법(평균, 합산 등)을 적용하여, 최적의 정답을 결정합니다.

이 방식은 전체 문장을 디코딩하지 않기 때문에, 연산 속도가 빠르고 학습 최적화가 용이하다는 장점이 있습니다.

 

 

그림 : 기존의 디코딩 기반 방식과 디코딩 없는 방식의 차이점

 

기존 방식의 경우는 모든 토큰을 생성해야 하므로 연산 시간이 오래 걸리며 정답 후보와 일치하는 문장을 반드시 생성해야 하는 부담이 있는데 디코딩 프리 방식의 경우는 그 과정이 생략되므로 빠르고 그 과정에서 발생할 수 있는 오류를 차단할 수 있다는 장점이 있습니다. 

 

로짓(logits) : 신경망 모델이 예측을 수행할 때 출력하는 비정규화된 점수(활성화 값), 모델이 특정한 선택지를 얼마나 '확신'하는지를 나타내는 값이며, 소프트맥스(softmax) 함수가 적용되기 전의 값입니다.

 

디코딩 없이 후보를 선택하는 방식에 적용된 세부 기술

 

이 논문에서는 로그잇 정보를 활용하는 여러 가지 방법을 평가하였습니다.

• 단일 토큰 로짓(logits) 사용 : 후보 문장에서 첫 번째 또는 마지막 토큰의 로그잇 값을 이용하여 정답을 예측합니다. 이 방식은 단순하지만, 문맥 정보를 충분히 반영하지 못할 가능성이 있습니다.
• 평균 로짓(logits) 사용 : 후보 문장의 모든 토큰의 로짓값을 평균 내어 정답을 선택하는 방식으로 단순한 단일 토큰 방식보다 더 많은 정보를 반영할 수 있습니다.
• 합산 로짓(logits) 사용 : 모든 토큰의 로짓값을 합산하여 확률을 계산합니다. 이를 이용하면 특정한 긴 문장에서 정답을 찾는 데 유리할 수 있습니다.

그림 : 실제 의료 진단 사례를 통해 디코딩 없는 방식이 어떻게 적용되는지 예시

 

위의 그림은 실제 의료 진단 사례에 적용된 예시를 보여줍니다. 환자의 의료진단 기록을 입력하면 모델이 첫번째 단계에서의 로짓 값을 계산하고 각 후보군의 키워드(예: "cholera", "lung cancer")에 대한 로그잇 값을 추출하여 정답 확률을 계산해 가장 높은 확률값을 후보를 선택해 정답을 결정하는 방식으로 진행됩니다. 

 

제약사항

디코딩 없는 후보 선택 방식은 여러 가지 장점이 있지만, 몇 가지 한계도 존재합니다.

• 정확도의 한계 : 모델이 로짓 정보만으로 정답을 잘 예측할 수 있도록 충분한 학습이 필요합니다. 일부 태스크에서는 여전히 전체 문장을 디코딩하는 방식이 더 나을 수도 있습니다.
• 후보군의 길이 영향 : 문장이 길어질수록 로그잇을 통한 정답 예측의 정확도가 떨어질 수 있으며 적절한 문맥을 반영하기 위한 추가적인 연구가 필요합니다.

---

 

디코딩 없이 로그잇 정보를 활용한 후보 선택 방법은 기존의 디코딩 기반 방식보다 빠르고 효율적입니다. 특히 대량의 후보군이 있는 경우(예: 의료 진단, 다중 선택 질문 응답), 이 접근법이 강력한 대안이 될 수 있습니다. 

 

하지만 모델이 후보 선택을 위한 충분한 정보를 학습할 수 있도록 최적화하는 과정이 중요합니다. 또한, 특정한 태스크에서는 기존 방식이 여전히 유리할 수 있으며, 후보군의 길이에 따라 성능이 달라질 가능성이 있습니다. 향후 연구에서는 다양한 로그잇 조합 방식, 문맥을 고려한 선택 기법, 효율적인 모델 최적화 방법 등이 탐색될 필요가 있습니다.

---

참고자료

• Inferring from Logits: Exploring Best Practices for Decoding-Free Generative Candidate Selection (링크)

---

Q&A

Q. 기존의 디코딩 방식보다 얼마나 더 빠른가요?

실험 결과에 따르면, 디코딩 없는 방법이 25배~57배 빠른 속도 향상을 보였습니다.

 

Q. 디코딩 없는 방식이 모든 태스크에서 더 나은 성능을 보이나요?

아니요. 일부 태스크(특히 정답이 자유롭게 생성될 수 있는 경우)에서는 기존 방식이 더 정확할 수 있습니다.

 

Q. 이 방법을 실제 애플리케이션에 적용하려면 어떻게 해야 하나요?

모델의 로그잇 정보를 활용할 수 있도록 사전 훈련된 모델을 준비하고, 후보 선택 방식을 적절히 조정해야 합니다.