SF3D

SF3D는 Stability AI가 공개한 단일 이미지에서 고품질의 3D 메쉬를 빠르고 안정적으로 생성하는 기법입니다. 이 기술이 소개된 사이트 상에는 마치 자동판매기처럼 입력된 이미지에 맞는 텍스처가 입혀진 3D 모델을 순식간에 찍어내는 기계 영상이 나오는데 이 기법을 단번에 이해할 수 있게 해 줍니다. 

 

기존의 방식에서는 3D 메쉬 생성 시, 이미지 속의 조명과 그림자가 생성되는 3D 모델의 텍스처에 그대로 포함되는 바람에 다른 조명 환경에 놓였을 때도 기존 것이 그대로 남아 있어 부자연스러울 수 밖에 없는 문제가 있었습니다. 그리고, 고정된 버텍스 색상을 사용해 텍스처를 표현하다보니 높은 폴리곤 수로 인해 메모리 사용량이 증가하고 성능이 저하되는 문제도 있었습니다. 이 외에도 계단 현상(Marching Cubes Artifacts)과 재질 속성 부족(Lack of Material Properties)와 같은 문제도 발생했었습니다. 

 

SF3D는 이런 문제를 해결하기 위해, 조명과 반사 속성을 분리하는 차별화된 조명 모델을 사용하고, 3D 표면을 2D 평면으로 펼쳐 텍스처를 입히는 UV Unwrapping 기법을 도입해 고해상도 텍스처를 매핑하는 방식을 채택했습니다. 또, 향상된 메쉬 추출 및 정제 기법(Mesh Extraction and Refinement)과 재질 추정(Material Estimation)등을 도입해 계단 현상을 줄이고 금속성과 거칠기를 추정해 객체의 반사 특성을 처리합니다. SF3D의 특징은 이미지가 입력되면 0.5초 만에 고해상도 텍스처가 적용된 고품질의 3D 메쉬를 생성하며 결과물의 크기도 최소화되어 타 응용 프로그램에서 쉽게 가져와 사용할 수 있습니다. 

 

참고) 논문, 코드, 데모, 영상

 

 

사진 : SF3D 기법 개요 설명