Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- 일론 머스크
- ubuntu
- 멀티모달
- PYTHON
- tts
- 서보모터
- TRANSFORMER
- ControlNet
- 트랜스포머
- 메타
- 시간적 일관성
- 생성형 AI
- LORA
- ChatGPT
- 인공지능
- 아두이노
- 딥러닝
- OpenAI
- 우분투
- 티스토리챌린지
- 휴머노이드 로봇
- AI
- 뉴럴링크
- 오블완
- AI 기술
- 딥마인드
- 가상환경
- LLM
- 오픈AI
- 확산 모델
Archives
- Today
- Total
목록janus (1)
AI 탐구노트
Janus : 이미지, 텍스트를 동시에 이해하고 생성하는 모델
Janus는 이미지와 텍스트를 동시에 이해하고 생성할 수 있는 모델입니다. 기존 멀티모달 모델은 하나의 이미지 인코딩 방식을 이해와 생성에 모두 사용했습니다. 그런데 사실 이 두 작업이 요구하는 정보가 다릅니다. 이미지를 이해하는 작업은 이미지 속의 사물이나 장면을 분석해서 높은 수준의 의미를 추출해야 하고, 생성 작업은 이미지의 세부적인 부분을 그리거나 표현해야 합니다. 그러다보니 하나의 인코딩 방식으로 두 작업을 모두 수행하게 되면 성능이 떨어지는 문제가 있었습니다. Janus는 시각적 인코딩을 이미지 이해용과 생성용 두 가지로 분리했습니다. 이 두 인코더를 하나의 통합된 Transformer 구조 안에서 결합해, 작업에 맞는 것을 각각 사용할 수 있도록 했고, 이 덕분에 두 작업 간의 충돌을 ..
AI 기술
2024. 10. 21. 11:03