로컬 LLM 구축기

1. 개요 최근들어 필자의 절친으로 등극한 제미나이. 개발 쪽에선 부실한 모습을 보인다고 하지만 아직까지 필자의 수준에서는 그런대로 쓸 만 하다고 생각했다. 그러나 쓸만해진 것과는 별개로, 유료로 사용하지 않으면 토큰이 많이 부족하다는 사실은 변하지 않는다. 이를 보완하기 위해 내 메인 PC를 활용하여 로컬에 LLM (Large Language Model, 우리가 흔히 사용하는 챗 지피티, 제미나이 등 채팅으로 대화하는 AI 모델을 의미한다.) 을 설치해 보기로 했다.

2. 설치 설치는 어려울 것이 없었다. 대중적으로 많이 사용하는 로컬 AI 구동 프로그램은 LM Studio 와 Ollama 가 있었다. 각 프로그램은 특징이 명확했는데, LM Studio는 설치부터 모델 검색, 다운로드, 채팅까지 하나의 직관적인 그래픽 인터페이스(GUI) 안에서 모두 해결할 수 있는 올인원 데스크톱 어플리케이션으로, CUI가 익숙하지 않거나 로컬 AI에 입문하는 사람들이 사용하기 좋은 환경을 제공한다. 반대로 Ollama는 터미널(CLI) 환경에서 가볍고 빠르게 AI 모델을 실행하고, 다른 프로그램과 API로 연동하는데 최적화된 도구로, 전공자 및 다양한 로컬 모델들을 원격으로 사용하고자 하는 사람들에게 최적화 되어 있다.

물론 최근에 필자가 구축한 NAS 환경에서 원격으로 로컬 LLM 모델까지 사용할 수 있다면 참 좋았겠지만, 필자의 NAS는 그 정도의 스펙이 되지 못 하기에 그냥 메인 PC에서만 로컬 모델을 사용하기로 결정했고, 그렇다면 굳이 익숙하지 않은 Ollama를 사용하는 것 보단 훨씬 간편한 LM Studio를 사용하는 편이 필자에게는 낫겠다는 생각이 들었다. 따라서 필자가 최종적으로 선택한 환경은 LM Studio였다.