AI 탐구노트

최근 이미지에서 비디오를 생성하는 기술이 빠르게 발전하면서, 사용자가 원하는 대로 카메라 움직임을 조정할 수 있는 기능이 중요한 연구 주제가 되었습니다. 일반적으로 텍스트 기반의 비디오 생성 방식은 사용이 간편하지만, 카메라의 움직임을 정밀하게 제어하기 어렵다는 한계가 있습니다. 이러한 문제를 해결하기 위해 카메라 궤적(trajectory)을 기반으로 한 영상 생성 기법이 등장했지만, 실제 환경에서 적용하기 어려운 경우가 많았습니다. 카메라 궤적 기반의 기존 기술은 상대적인 스케일(relative scale)에서 작동하여 현실적인 3D 깊이(depth) 정보를 반영하기 어려웠습니다. 이로 인해 사용자는 특정 장면에서 정확한 카메라 움직임을 설계하는 데 어려움을 겪었습니다. 예를 들어, 깊이 정보가 없는 ..

LiteRT (Lite Runtime) 란?LiteRT는 예전에 Tensorflow Lite라고 불리던 것으로 2017년 구글에서 공개한 Edge(온디바이스) 용 AI 런타임입니다. 당시 다양한 ML/DL 작업을 Edge 장비에서 실행할 수 있도록 모델을 경량 최적화 변환을 한 후 동작시킬 수 있도록 해 주어 영상 분야 등에 활용하는 사례가 많았었습니다.  'Tensorflow Lite' 라는 이름 때문에 구글 자사가 만든 Tensorflow만 지원하는거 아니냔 오해가 있었는데 이후 PyTorch, JAX, Keras 등에서 만든 모델들을 고루 지원하는 형태로 바뀌면서 멀티 플랫폼을 지원한다는 느낌을 주기 위해 이름도 바꾼게 아닐까... 하는 추측을 해 봅니다. 왜냐면 이름 외에는 크게 바뀐 것이 없기 ..