AI 탐구노트

1. 서론앞서 다른 글에서도 언급한 것처럼 현대 디지털 디자인에서 벡터 그래픽은 스케일 조정의 유연성으로 인해 광범위하게 사용됩니다. 벡터 그래픽은 크기를 조정할 때 품질 손실이 없다는 점에서 레스터 이미지보다 뛰어난 장점을 가지고 있죠. 하지만, 대부분의 인공지능 연구는 레스터 이미지 생성에 집중되어 있으며, 벡터 그래픽을 학습하거나 생성하려는 노력은 상대적으로 부족했습니다. 이러한 한계를 극복하기 위해 DeepSVG라는 새로운 접근이 제시되었습니다. DeepSVG는 SVG(Scalable Vector Graphics) 형식의 복잡한 벡터 그래픽을 생성하고 애니메이션을 지원하는 계층적 생성 네트워크입니다. 이 모델은 벡터 그래픽 데이터를 효율적으로 표현할 수 있는 계층적 구조를 활용하여 복잡한 아이콘을..

1.서론TikTok을 서비스하는 ByteDance에서 X-Portrait 2를 출시했습니다. 공개된 영상을 보고 한 판단이긴 하지만, 전작인 X-Portrait 1 대비 립싱크와 얼굴의 변화 부분에서 엄청난 발전을 이룬 것 같습니다. 이글에서는 공개된 내용과 영상 일부를 간단하게 소개해 드립니다.   2.X-Portrait 22.1.기술 개요X-Portrait 2는 정적인 인물 얼굴 이미지를 기반으로, 드라이빙 비디오(*)의 표정을 해당 이미지에 적용하여 생동감 넘치는 애니메이션을 생성하는 기술입니다. 크리에이터가 전문가의 도움을 최소로 한 상태에서 캐릭터를 이용한 애니메이션을 생성할 수 있도록 하는 기술이라고 보시면 될 것 같습니다.드라이빙 비디오라는 것은 특정 인물이나 객체의 동작과 표정 정보를 담고..

이미지 + 얼굴 표정/ 안면 동작 = '원하는대로 초상화' 애니메이션 생성 기술 Follow-Your-Emoji는 입력된 정적 이미지를 기반으로, 목표로 하는 표정과 동작을 적용하여 초상화의 정체성과 시간적 일관성이 유지되는 애니메이션을 생성하는 기술입니다.  모델 학습을 위해 비디오 클립과 랜덤 참조 프레임(무작위 선택 프레임), 그리고 표정 인식 랜드마크(mediapipe 이용 3D 키포인트 추출한 것을 2D 랜드마크로 투영)를 사용하고, 얼굴 표정의 미세한 변화를 인식하고 반영하도록 돕는 세밀한 표정 손실 함수를 도입했습니다. 또한 길이가 긴 애니메이션 생성 시 시간적인 일관성 유지를 위해 키 프레임을 먼저 생성하고 이를 기반으로 중간 프레임을 생성하는 점진적 생성 전략을 사용합니다. 이외에 초상화..