손바닥 위의 오프라인 AI 챗봇 - Raspberry Pi 5로 동작?

 

유튜브 방랑을 하다보니 라즈베리파이 5를 이용해 포터블 Chatbot 기기를 만든 분이 있었습니다. STT → LLM → TTS 전체가 로컬에서 돌아가는 '포터블 AI 기기'인 셈입니다. 라즈베리파이 5의 성능 향상과 주변 생태계 덕분에, 손바닥만 한 보드에서도 음성 인식, AI 대화, 음성 출력이 모두 가능해진 것이죠.

 

인터넷 연결없이 로컬에서만 동작하는 방식인데 심지어 배터리를 달아두니 손에 들고 다니며 사용할 수 있을 정도입니다. 하드웨어 성능이 좋아졌다고는 하지만 STT, LLM, TTS를 라즈베리파이에서 동작시키는 수준까지 발전했다니 놀라울 따름입니다. 영상 자체도 인상적이어서 간단히 요약 소개하고 가겠습니다. 

---

 

1️⃣ 사용된 하드웨어 구성

• Raspberry Pi 5 (8GB 권장)
  • STT·LLM·TTS를 동시에 돌리면 약 4GB 이상 메모리가 필요, 발열이 심하므로 액티브 쿨러 필수임
• Whisplay Hat ($35.99 USD - 구매링크)
  • 소형 LCD (240x280)·스피커·마이크·버튼 등 포함함
  • PiSugar 기반 오픈소스 프로젝트로 최적화가 잘 되어 있음
  • 라즈베리파이 용으로 제작됨
• PiSugar 배터리팩 
  • 라즈베리파이에 직접 부착, 완전 휴대형 AI 기기 제작 가능
• 기타: 스택형 GPIO 헤더, 냉각팬 등

 

2️⃣ 로컬 AI 구성 요소

AI 솔루션은 다음과 같은 것들이 사용되고 있습니다. 

 

기능	사용 모델 / 프로그램	비고
STT	Whisper Tiny	OpenAI 공개 오픈소스
LLM	Qwen 3.0 1.7B	Ollama로 구동 (DeepSeek-R1은 장황한 답변이라 배제)
TTS	Piper-TTS	아쉽게도 한국어는 미지원
OS	Raspberry Pi OS
챗봇 앱	Whisplay AI Chatbot	Hat 쪽 화면에 보이는 텍스트 기반

 

사진 : 라즈베리파이로 구현된 AI 챗봇 (출처) Jdaie Lin님 채널 소개 영상의 한 장면

 

 

3️⃣ 설치 및 실행 과정

• 라즈베리파이 : OS 설치 (SD 카드 플래싱 이용) → SSH/WiFi 설정 후 재부팅 → PiSugar에서 SSH 접속
• Whisplay Hat 드라이버 설치 : Whisplay github 내용대로 설치 진행 → 재부팅 → 예제 프로그램으로 LCD, 오디오 버튼 정상 작동 여부 확인
• AI 챗봇 프로그램 설치 : Whisplay Chatbot github 설치 진행 → .env 파일 생성 : Whisper/Ollama, Piper 등 사용하는 것으로 설정
• Ollama 설치 : Ollama 다운로드 → Qwen 1.7B 모델 다운로드 (다운로드 속도 때문에 PC에서 해서 라즈베리파이로 옮기는 것 권고)
• Whisper 설치 : tiny 모델 (python에서 설정하면 바로 다운로드) → 예제 음성파일로 정상 작동 확인
• Piper-TTS 설치 : pip 이용 설치, Piper github에서 선택한 목소리의 .onnx와 .json 파일 다운로드 → .env에 경로 설정
• 챗봇 실행 : bash run_chatbot.sh 로 실행 (시스템 서비스로 등록하면 전원켜면 자동으로 챗봇 실행하도록 할 수 있음)

 

영상에서 결과물을 보면 처음 로딩에는 많은 시간이 필요하지만, 이후부터는 약간의(?) 딜레이가 있지만 제대로 동작하는 것을 볼 수 있었습니다. 이렇게 만들어서 무인 자동화 기기내에 임베딩시켜 놓고 사용하면 생각보다 큰 비용 들이지 않으면서도 효과를 볼 수 있을 것 같습니다.

 

다만, 아쉬운 한 가지는 기기성능으로 인한 느린 반응속도와 한국어 미지원입니다. 경량으로 한국어가 지원되는 STT, TTS, LLM이 만들어진다면 활용도를 더 높일 수 있을 것 같습니다. 뭐... 곧 그렇게 되겠죠? ^^

 

 

참고자료

• 소개영상) Offline AI on Raspberry Pi 5 — It Talks, Thinks locally without Wi-Fi! (Complete Tutorial) (링크)