AI 탐구노트

X에 올라온 thread (링크)를 읽다가 추천 글로 올라온 것이 있어 읽어봤는데 도움이 되는 것 같아서 정리해 봅니다.  일론 머스크?저는 Elon Musk를 현 시대의 선구자 중 한 사람이라고 생각하고 있습니다. 한편으론 미래에서 온 사람(돈도 많고 능력도 많고 미래를 이미 아는 듯한 사기캐? ^^;)이라고도 생각하죠. 일본 만화 'Replay J'의 주인공 무로부시 슈헤이나 국내 드라마 '재벌집 막내아들'의 진도준 같은 부류처럼 말입니다.  성격도, 사고방식도, 행동 방식도 완전 괴짜라, 그에 대한 평가는 호불호가 확실히 갈리는 편이라고 할 수 있습니다. 실제로 부정적인 측면도 많이 가지고 있어서, 심지어 그가 운영하는 회사 테슬라의 주주들은 늘 노심초사한다고 알려져 있습니다. 또 어떤 말실수나 기..

Janus는 이미지와 텍스트를 동시에 이해하고 생성할 수 있는 모델입니다.  기존 멀티모달 모델은 하나의 이미지 인코딩 방식을 이해와 생성에 모두 사용했습니다. 그런데 사실 이 두 작업이 요구하는 정보가 다릅니다. 이미지를 이해하는 작업은 이미지 속의 사물이나 장면을 분석해서 높은 수준의 의미를 추출해야 하고, 생성 작업은 이미지의 세부적인 부분을 그리거나 표현해야 합니다. 그러다보니 하나의 인코딩 방식으로 두 작업을 모두 수행하게 되면 성능이 떨어지는 문제가 있었습니다.   Janus는 시각적 인코딩을 이미지 이해용과 생성용 두 가지로 분리했습니다. 이 두 인코더를 하나의 통합된 Transformer 구조 안에서 결합해, 작업에 맞는 것을 각각 사용할 수 있도록 했고, 이 덕분에 두 작업 간의 충돌을 ..