AI 탐구노트

요즘 생성형 AI를 써 보면, 같은 질문을 여러 번 던져도 비슷한 문장과 비슷한 결론으로 돌아오는 경우가 많습니다. 겉으로는 ‘정답률이 올라간 것’처럼 보이지만, 창작 글쓰기나 아이디어 발산, 시뮬레이션처럼 여러 갈래의 답이 필요한 작업에서는 오히려 답변이 단조로워져 답답해지죠. 기업들이 챗봇을 ‘안전하고 친절하게’ 만들기 위해 후처리 학습을 강화할수록, 이런 현상이 더 눈에 띈다는 이야기도 자주 나옵니다. 이번 논문은 이 문제를 ‘알고리즘이 덜 똑똑해서’가 아니라, 사람이 만드는 선호 데이터 자체가 가진 편향에서 찾습니다. 사람은 낯선 표현보다 익숙한 표현을 더 좋게 평가하는 경향이 있는데, 이게 선호 데이터에 쌓이면 모델이 점점 ‘무난하고 전형적인 답’만 고르게 된다는 겁니다. 그리고 해결책도 거창한..

대부분의 최신 이미지 생성 모델은 수십억 개의 파라미터를 사용합니다. 모델 크기가 커질수록 성능은 좋아지지만, 그만큼 학습 비용과 시간도 따라 증가합니다. 그래서 많은 연구자들이 좋은 모델을 만들려면 무조건 크고 비싸야 한다는 생각을 갖곤 합니다. 하지만 산업 현장은 조금 다릅니다. 기업은 예산과 시간이 제한돼 있고, 개인이나 소규모 연구팀은 더욱 그렇습니다. 그래서 적은 비용으로도 뛰어난 이미지 생성 모델을 만들 수 없을까라는 질문이 나오기 시작했습니다. 이런 와중에 알리바바 Z-Image 팀에서 Z-Image라는 6B(60억) 파라미터 규모의 생성 모델을 공개했습니다. 최신 Flux 모델과 동등한 수준의 이미지를 만들어내면서도 속도는 엄청 빠르다고 알려져 있죠. 실제로 다른 최신 모델들이 20B~..