DrawingSpinUp : 스케치 to 3D 애니메이션 생성 시스템

단일 캐릭터 드로잉에서 3D 애니메이션을 생성하는 시스템

 

DrawingSpinUp은 단일 캐릭터 드로잉에서 3D 애니메이션을 생성하는 시스템입니다.

 

이를 이용하면 간단한 스케치 이미지를 이용해 생동감있는 3D 모션이 적용된 3D 캐릭터 애니메이션을 생성할 수 있습니다. 

기존의 애니메이션 방법은 주로 평면적인 2D 모션에 제한되어 있어 3D 효과를 적용하는데 어려움이 있었습니다. 게다가 3D 모델은 대부분 전문적인 3D 모델링 도구를 이용해서 만들어지다보니 아마추어가 그리는 캐릭터 드로잉의 모양이나 질감을 제대로 반영할 수가 없었습니다. 특히, 윤곽선이 포함된 드로잉은 뷰에 따라 질감이 달라져 재구성이 어렵다는 문제점도 있었죠.

 

DrawingSpinUp에서는 다음의 2가지 기법을 사용해 위의 문제점을 해결합니다. 

• 윤곽선 제거 후 복원
  뷰에 따라 변하는 윤곽선을 제거하고 3D 모션이 적용된 후 다시 복원함
• 골격 기반 얇게 변형
  팔, 다리 등 가느다란 구조를 더 정교하게 표현하기 위해 캐릭터의 골격을 기반으로 앞서의 얇은 부분을 좀 더 자연스럽게 변형하는 알고리즘을 사용함

 

DrawingSpinUp 의 기술적 특징은 다음과 같습니다. 

• 3D 재구성 : 윤곽선을 제거한 후, 사전 학습된 이미지-3D 모델을 활용하여 질감이 있는 3D 모델을 생성함
• 애니메이션 스타일 유지: 입력 이미지의 스타일을 유지하며 각 프레임을 생성하는 기하학 기반 스타일화 네트워크를 도입함
• 3D 모션 적용: 단일 드로잉에서 생성된 3D 캐릭터에 다양한 3D 모션을 적용하여 생동감 있는 애니메이션을 생성함

 

사진 : DrawingSpinUp의 전체 파이프라인

 

 

DrawingSpinUp 파이프라인은 위의 그림에서 설명하듯 크게 3단계로 구성되어 있습니다. 
1.윤곽선 제거: 드로잉에서 윤곽선을 제거하고 그 영역을 인페인팅하여 질감을 복원한다.
2.3D 캐릭터 생성: 사전 학습된 모델을 사용하여 3D 캐릭터를 생성하고, 골격 기반의 변형을 통해 세부적인 부분을 개선한다.
3.스타일화된 윤곽선 복원: 스타일화 네트워크를 통해 각 프레임에 원래의 드로잉 스타일을 복원한다.

 

 

참고) 프로젝트, 논문, 코드