AI 탐구노트

Ollama에서 Gemma3 모델을 올려두고 API 호출을 통해 서비스를 받았습니다. 이전 글에서 언급한 것처럼 돌아오는 답변이 원하는 포맷이 아니고 요약도 엉망으로 되는 경우가 많았습니다. ollama 쪽 모델은 원본과는 좀 다른가보다... 자기 고집이 센 녀석인가보다 하면 불편하지만 참으며 사용했고, 요약 결과가 너무 이상하다 싶으면 좀 더 큰 다른 모델을 이용하는 방식으로 넘어갔었습니다. 그런데... 아무리 Ollama 쪽 모델의 특성일 수도 있겠다 생각해도 이 모델이 이렇게까지 헤맬까? 하는 의문이 드는겁니다. 그래서, 일종의 버그 잡기를 시도했고, 그 과정을 기록해 둡니다. 흑역사죠. 1) 문제점 확인 예전에 만들어 둔 Youtube 스크립트 요약기에서 로컬 모델 사용 방식을 LM Stud..

지난 번 소개글에 이어 Speech-to-Speech 모델인 gpt-realtime을 실제 테스트 해 보기로 했습니다. 이 모델을 OpenAI 의 API를 이용하는 것으로 OpenAI의 API Key가 있어야 합니다. 연동하는 과정을 한번 쭉 따라가 보도록 하겠습니다. (단, 결과적으로 완전하게 동작하는 단계는 아직 아닙니다! 마지막 단계에서 하나가 걸렸는데 그 부분은 글 끝에서 확인하시면 될 것 같습니다) 1.구현 요건서버 : Python, FastAPI 이용클라이언트 : html / javascript / css 이용한 web UI, webRTC를 이용한 데이터 전송, 사용자 마이크 이용필요 기능입력/출력 언어 선택 UI : 입력언어 (기본 자동 감지), 출력언어(특정 언어 지정)오디오 출력 토글 :..

ChatGPT나 Claude를 사용하면서 가끔 다음과 같은 생각을 할 때가 있습니다. (다른 분들도 아마 한번쯤은 해 보지 않으셨을까 생각합니다만...)매달 내는 구독 비용이 아깝다. - 최근에는 ChatGPT 구독을 여럿이 나눠서 사용하는 사람들도 늘고 있다고 합니다내 정보가 외부로 공개되는 것이 싫다온라인 서비스인데 어떤 때는 응답이 너무 느리다내가 만든 앱에서 AI 기능을 활용하고 싶은데 API 로 사용하는 것은 챗봇 구독과 별도로 비용이 들더라이럴 때 ​로컬에서 대형 언어 모델(LLM)을 사용할 수 있다면 하는 쪽으로 생각이 진행되죠. 실제로 그렇게 하고 계신 분들도 많구요. 로컬에서 사용할 수 있는 오픈소스 모델들이 상용 LLM보다 공개 LLM 모델의 성능이 더 낫다고는 할 수는 없습니다. 하지..

1.서론 : 브라우저 중심의 에이전트의 한계 웹 브라우저는 인터넷 사용의 중심 도구로 자리 잡고 있습니다. 그러다보니 다양한 일상 업무를 지원하기 위해, 많은 연구가 웹 브라우저 상호작용 에이전트에 집중되어 왔었죠. 이러한 에이전트는 사람처럼 브라우저를 통해 작업을 수행하며, 온라인 쇼핑, 일정 계획, 정보 검색 등 다양한 작업을 지원합니다. 그러나 모든 웹 사이트가 사람 중심의 인터페이스로 설계된 탓에, 기계가 효과적으로 웹 페이지를 탐색하고 작업을 완료하는 데 한계가 있습니다. 이와 대조적으로, 응용 어플리케이션 프로그래밍 인터페이스(API)는 기계와 웹 서비스 간의 직접적인 데이터 교환을 가능하게 합니다. API는 구조화된 데이터 교환을 지원하며, 이를 통해 보다 효율적인 작업 수행이 가능합니다. ..