AI 탐구노트

가상현실(VR)과 증강현실(AR), 그리고 영화·게임 산업의 발전은 사실적인 3D 장면 생성 기술에 대한 수요를 급격히 증가시키고 있습니다. 이러한 요구를 충족시키기 위해 최근 주목받고 있는 기술 중 하나가 바로 Neural Radiance Field(NeRF)입니다. NeRF는 비교적 적은 데이터로도 정밀한 3D 장면을 재현할 수 있어, 학계와 산업계 모두에서 큰 관심을 받고 있습니다. 그러나 NeRF의 핵심 방식인 볼륨 렌더링은 렌더링 속도가 느려 실시간 처리가 필요한 응용 분야에서는 활용이 어려운 문제가 있습니다. 이와 대조적으로 3D Gaussian Splatting(3DGS)은 렌더링 속도 면에서 뛰어난 성능을 보이지만, 수백만 개의 3D 가우시안 데이터를 개별적으로 저장해야 하기 때문에 저장 ..

GS-VTON은 2D 가상 착용 기술을 3D로 확장해, 여러 각도에서 옷을 자연스럽게 입어볼 수 있게 해주는 기술입니다. 옷이나 안경, 액서사리와 같은 제품들은 디자인이나 기능적인 측면 외에도, 이를 입거나 갖췄을 때 '나한테 얼마나 어울리는가' 하는 것이 아주 중요한 구매 포인트가 됩니다. 그래서, 제품 구입 전에 입거나 걸쳐보는 등의 과정을 거치는 경우가 많습니다. 그런데, 만약 구입을 온라인에서 하게 된다면? 아니면 오프라인이라도 입고 걸쳐보고 싶은 것이 많은데 제품마다 갈아입어보기가 어렵거나 귀찮은 경우가 있다면? 아마도 많은 분들이 온라인에서 옷을 구매하면 마음에 들지 않아 반품을 해 보신 경험이 있을 겁니다. 오프라인에서는  눈치가 보여서라도 많은 옷을 입어보지 못하는 경우가 있을테구요. 이럴..

2D 이미지 모델의 성능을 향상시키기 위해 3D 정보에 기반한 미세조정 기법  FiT3D는 2D 비전 모델의 성능을 향상시키기 위해 3D 정보를 활용한 미세 조정 기법입니다. 대부분의 2D 비전 모델은 순수하게 2D 이미지 데이터로 학습되며 이로 인해 물체와 장면의 3D 구조를 제대로 이해하지 못합니다.즉, 다양한 각도에서 찍힌 이미지들 사이에서 공통된 정보를 잘 찾아내기 어렵고, 한 장의 이미지로는 물체나 장면의 정확한 모양을 파악하기 힘든 경우가 많죠.   FiT3D 기법에서는, 먼저 2D 이미지 특징을 3D Gaussian 표현으로 변환해, 여러 뷰에서 일관된 3D 특징을 학습한 후, 이 3D 인지 특징을 활용하여 2D 비전 모델을 미세 조정(fine-tuning)합니다. 이렇게 생성된 3D 인지 ..