AI 탐구노트

Janus는 이미지와 텍스트를 동시에 이해하고 생성할 수 있는 모델입니다.  기존 멀티모달 모델은 하나의 이미지 인코딩 방식을 이해와 생성에 모두 사용했습니다. 그런데 사실 이 두 작업이 요구하는 정보가 다릅니다. 이미지를 이해하는 작업은 이미지 속의 사물이나 장면을 분석해서 높은 수준의 의미를 추출해야 하고, 생성 작업은 이미지의 세부적인 부분을 그리거나 표현해야 합니다. 그러다보니 하나의 인코딩 방식으로 두 작업을 모두 수행하게 되면 성능이 떨어지는 문제가 있었습니다.   Janus는 시각적 인코딩을 이미지 이해용과 생성용 두 가지로 분리했습니다. 이 두 인코더를 하나의 통합된 Transformer 구조 안에서 결합해, 작업에 맞는 것을 각각 사용할 수 있도록 했고, 이 덕분에 두 작업 간의 충돌을 ..

지난 번에 ComfyUI를 설치해서 Flux.1 Schnell을 돌려봤습니다.  Flux.1 설치 및 테스트이미지 생성 모델하면 떠 오르는 것들이 있을 겁니다. 최근에는 워낙 많이 생겨서 다 나열하기 힘들지만 그래도 떠오르는 이름 말입니다. Stable Diffusion, DALL-E, MidJourney, Flux.1 그 가운데 하나가 B42morrow.tistory.com  그러다보니 ComfyUI라는 것을 어떻게 써먹을 수 있는지 좀 더 알아봐야겠다는 생각이 들었습니다. 검색을 해 보니 Stable Diffusion과 같이 공개 모델을 이용하는 사람들 가운데 LoRA를 적용해서 개인적으로 사용하는 분들이 많다는 것을 알게 됐고, ComfyUI에도 이것을 활용할 수 있다고 합니다. 그래서, 이번 시간..

AI, 미국 채용과 입시의 변화를 이끌다미국의 구직 및 입시 시장에서, 구직자들이 AI 도구를 활용해 지원서를 작성하면서 지원자 수는 증가했지만, 기업은 우수한 인재 선별이 어려워지거나 대학 입시에서도 AI 활용이 확대되며 기존 에세이 평가의 의미가 퇴색하는 등 새로운 도전에 직면하고 있다고 합니다. (한겨레) AI 영상 진단, 필수 의료 도구로 자리 잡는다AI 영상 진단 기술을 보유한 루닛, 뷰노, 제이엘케이, 뉴로핏 등 주요 기업들이 진단의 정확도를 높이며 의료 분야 AI 시장을 주도하고 있으며 정부도 AI 기반 응급 예측 모델과 의료 데이터를 활용하는 지원책을 마련하고 있어 2028년까지 필수 의료 분야 AI 기술 투자를 2배 확대할 예정이라고 합니다. (팜뉴스)경기도, 생활밀착형 AI 서비스 시범..