Google의 SignGemma - 실시간 수화를 지원하는 AI 기술의 등장

 

SignGemma란?

SignGemma는 Google DeepMind에서 개발한 AI 모델로, 수어를 음성 텍스트로 실시간 변환하여 청각 장애인과 비수어 사용자 간의 의사소통 장벽을 줄이는 것을 목표로 합니다. Google의 Gemma 모델 시리즈에 속하며, 오픈소스로 제공되어 개발자와 연구자가 접근할 수 있습니다. 2025년 5월 Google I/O에서 처음 공개되었으며, 현재 테스트 단계에 있으며 2025년 말에 공식 출시 예정이라고 합니다. 

 

SignGemma의 특징

SignGemma는 다음과 같은 주요 특징을 가지고 있습니다. (공개된 내용 기준)

• 실시간 수어 번역 : SignGemma는 손 모양, 팔 움직임, 얼굴 표정을 분석하여 수어를 실시간으로 영어 텍스트로 변환합니다. 최소 지연 시간으로 자연스러운 대화를 지원합니다.
• 오프라인 작동 : Gemini Nano 프레임워크를 기반으로 하여 인터넷 연결 없이도 디바이스 내에서 작동 가능, 연결이 제한된 지역에서도 사용 가능합니다.
• 오픈소스 : Gemma 시리즈의 일원으로, 오픈소스 모델로 제공되어 개발자들이 이를 기반으로 애플리케이션을 개발하거나 개선할 수 있습니다.
• 다양성과 포용성 : 주로 미국 수어(ASL)와 영어에 최적화되어 있지만, 다양한 지역과 문화적 배경의 수어를 지원하도록 훈련되었으며, 향후 더 많은 수어로 확장될 계획이라고 합니다. 
• 커뮤니티 협업 : Google은 청각 장애 커뮤니티, 연구자, 개발자의 피드백을 적극 수집하여 모델을 개선하고 있으며, 이를 위해 Google AI Studio와 Google AI Edge 플랫폼을 통해 테스트 접근을 제공합니다.

 

SignGemma의 기술적 내용

• 아키텍처 : SignGemma는 Gemini Nano 프레임워크를 기반으로 하며, 비전 트랜스포머(Vision Transformer)를 활용해 손 모양, 얼굴 표정, 움직임을 처리합니다. 이후 컴팩트 언어 모델이 이를 영어 텍스트로 변환합니다.
• 훈련 데이터 : 10,000시간 이상의 ASL 비디오와 영어 자막 데이터로 훈련되었습니다. 이를 통해 다양한 수어 스타일과 표현을 포함하여 모델의 정확성을 높일 수 있었습니다. 
• 효율성 : Per-Layer Embeddings(PLE)와 MatFormer 아키텍처를 활용해 메모리 사용량을 줄이고, 스마트폰, 태블릿, 노트북 등 엣지 디바이스에서 효율적으로 작동하도록 최적화되었습니다.
• 개발자 지원 : TensorFlow Lite 패키지, GitHub 샘플 코드, 호스팅 API를 제공하며, 개발자는 Google AI Studio를 통해 모델을 테스트하고 피드백 세션에 참여할 수 있습니다.

그림 : SignGemma 소개 영상

SignGemma의 활용 사례

• 실시간 커뮤니케이션 : 비디오 통화 중 카메라로 수어를 캡처해 실시간으로 텍스트 오버레이를 생성, 청각 장애인과 비수어 사용자 간 대화를 원활하게 합니다. 대화를 실시간으로 처리해 주는 것처럼 수어도 같은 수준으로 처리될 수 있게 될 것입니다. 
• 교육 지원 : 수어 학습 및 교육 과정에서 즉각적인 피드백과 번역을 제공하여 학습 효율성을 높입니다. (이 기술이 더 발전되고 범용화된다면 궁극적으로는 별도의 교육 과정이 필요치 않게 될지도 모릅니다. ^^;) 

 

SignGemma의 한계 및 고려사항

• 현재까지는 ASL (미국 수화) 중심 : 주로 ASL과 영어에 최적화되어 있어 다른 수어(예: 한국수어, KSL) 지원은 제한적이며, 향후 확장이 필요합니다. 조만간 되겠죠? 
• 정확성 검증 필요 : 실시간 번역의 정확성이 전문 통역 수준에 도달하려면 추가적인 미세 조정과 검증이 필요합니다.
• 문화적 논란 : 일부 청각 장애 커뮤니티에서는 수어 번역 AI가 수어 학습의 필요성을 줄여 수어 문화를 약화시킬 수 있다는 우려를 제기했습니다. (개인적으로 동의하지만 궁극적으로는 아예 필요가 없어지도록 할 수 있어야 한다는 생각입니다) 좀 더 청각 장애 커뮤니티와의 협력과 피드백 반영이 필요할 것입니다. 
• 기술적 제약 : 엣지 디바이스에서의 성능은 디바이스의 하드웨어 사양에 따라 달라질 수 있으며, 복잡한 수어 표현이나 지역별 방언의 미묘한 차이를 처리하는 데 한계가 있을 수 있습니다.