왜 LLM을 로컬에서 실행할까?

  • 개인정보 보호: 당신의 데이터는 절대 기기 밖으로 나가지 않습니다.
  • 비용: 설정 후 토큰당 비용이 0입니다.
  • 속도: 추론을 위한 네트워크 지연 없음.
  • 오프라인: 인터넷 연결 없이도 작동합니다.

Ollama 설치

  • ollama.com에서 다운로드 — macOS, Linux, Windows에서 이용 가능.
  • 'ollama pull gemma3'를 실행하여 모델을 다운로드하세요.
  • 'ollama run gemma3'를 실행해서 대화를 시작하세요.

인기 모델

  • Qwen3 8B: 균형 잡힌 기본 선택, 다운로드 5.2GB, 40K 컨텍스트.
  • Gemma 3 12B: 구글의 멀티모달 모델, 8.2GB, 128K 컨텍스트.
  • DeepSeek-R1 8B: 추론에 특화된 증류판, 5.2GB, 128K 컨텍스트.
  • Qwen3-Coder 30B: 전문가 혼합 코딩 모델, 19GB, 24GB GPU 권장.
  • Phi-4 14B: 마이크로소프트의 소형 추론 모델, 9.1GB, 16K 컨텍스트.

크기와 컨텍스트 길이는 Ollama가 태그별로 공개한 값입니다(2026-11-10 확인).

API 사용

Ollama는 'http://localhost:11434'에 로컬 REST API를 제공합니다.

  • 'POST /api/generate' — 텍스트 생성.
  • 'POST /api/chat' — 채팅 완료
  • 기본 URL 오버라이드를 통해 OpenAI SDK와 호환됨.

두 엔드포인트 모두 이미 내려받은 태그를 지정하는 'model' 필드가 필요하며, API 문서는 이를 필수로 표시합니다('ollama list'로 확인 가능). 최소 채팅 요청 본문은 `{"model": "gemma3", "messages": [{"role": "user", "content": "hello"}]}`이며, 이를 '/api/chat'으로 보내면 Ollama가 JSON 객체를 스트리밍으로 반환합니다.

"stream": false를 추가하면 전체 응답과 시간 통계를 담은 단일 객체를 받습니다.

통합 팁

  • 'OllamaLLM' 클래스를 통한 LangChain 사용
  • ChatGPT와 유사한 인터페이스를 위해 Open WebUI와 함께 사용.
  • GPU 가속: NVIDIA(CUDA)와 Apple Silicon(Metal)에서 작동합니다.

공연 기대치

  • M2 맥북용 7B 모델: 초당 ~30 토큰.
  • RTX 4090 기반 7B 모델: 초당 ~60 토큰.
  • 70B 모델 48GB RAM(CPU): 초당 ~3 토큰. 43GB 다운로드로 메모리가 거의 차서 긴 컨텍스트 여유가 없습니다.

알맞은 로컬 모델 고르기

선택은 하드웨어와 사용 사례에 달려 있습니다. 노트북에서 코딩한다면 Qwen2.5-Coder 7B(4.7GB) 또는 Llama 3.1 8B(4.9GB)를 4비트 양자화로 쓰면 좋습니다. 일반 대화에는 Qwen3 8B(5.2GB) 또는 Gemma 3 12B(8.2GB)가 균형이 좋습니다. 24GB GPU에는 19GB인 Qwen3-30B-A3B가 들어갑니다. Llama 3.1 70B는 다운로드가 43GB이므로 24GB가 아니라 48GB 이상의 메모리가 필요합니다.

성능 튜닝

  • 양자화: Q4_K_M이 품질 대비 크기 비율이 가장 좋습니다. Q5_K_M은 조금 더 좋지만 20% 더 큽니다. 꼭 필요하지 않다면 Q2/Q3는 피하세요. 품질이 급격히 떨어집니다.
  • 컨텍스트 길이: 기본값은 보통 2048 또는 4096 토큰입니다. 필요할 때만 늘리세요. 컨텍스트가 길수록 RAM을 더 씁니다.
  • GPU 오프로딩: --n-gpu-layers로 VRAM이 허용하는 만큼 레이어를 넘기세요. GPU에 더 많이 올릴수록 빠릅니다.
  • 배치 크기: VRAM이 허용한다면 --batch-size를 늘려 프롬프트 처리를 빠르게 하세요.

흔한 함정

가장 큰 실수는 하드웨어에 비해 너무 큰 모델을 돌리는 것입니다. 16GB RAM에서 70B 모델은 몹시 느립니다(초당 1~2 토큰). 차라리 7B 모델을 초당 30토큰 이상으로 돌리는 편이 낫습니다. 두 번째 실수는 시스템 프롬프트를 무시하는 것입니다. 로컬 모델은 시스템 프롬프트에 매우 민감합니다. 잘 만든 시스템 프롬프트는 평범한 모델을 쓸 만한 어시스턴트로 바꿔 줍니다.

모델을 고르기 전에 초당 토큰을 측정하라

공개된 파라미터 수는 그 모델이 당신 기계에서 쓸 수 있는지를 거의 알려 주지 않습니다. 중요한 것은 당신 하드웨어에서의 초당 토큰 생성 속도이고, 그 숫자는 원시 연산 능력보다 메모리 대역폭에 훨씬 크게 의존합니다. 메모리에 들어가지만 읽는 속도와 비슷하게 생성하는 모델은 고통이고, 초당 30토큰이면 대화처럼 느껴집니다. 규모를 정하기 전에 출력 길이를 아는 고정 프롬프트로 직접 시간을 재세요.

메모리에 들어가지 않는 모델은 느려지는 것이 아니라 CPU에서 돌고, 보통 한 자릿수 배 나빠집니다. 그래서 "들어가는가"라는 질문은 이진적이며 먼저 옵니다. 선택한 양자화의 메모리 요구량을 가용 메모리와 비교하고, OS와 컨텍스트를 위한 여유를 두세요.

양자화가 주된 지렛대다

16비트에서 8비트나 4비트로 내리면 메모리 사용량이 대략 절반, 4분의 1이 되고, 많은 작업에서 품질 차이는 자체 평가에서 보이지 않을 만큼 작습니다. 공짜는 아닙니다. 추론 중심 작업과 긴 컨텍스트 검색은 유창한 대화보다 더 크게 나빠집니다. 파일 맨 위 변형이 사용자가 볼 것이라 가정하지 말고, 출시할 양자화로 테스트하세요.

로컬 모델이 진짜로 이기는 곳

프라이버시, 오프라인 동작, 예측 가능한 비용, 속도 제한으로부터의 자유. 분류 작업을 초당 5토큰으로 돌리며 노트북을 떠나지 않는 로컬 모델은, 어디로도 보낼 수 없는 작업에서 호스팅 모델보다 낫습니다. 반대도 정직하게 말하세요. 열린 추론과 코드 생성에서는 호스팅 최전선이 여전히 뚜렷이 앞서 있고, 아니라고 우기는 것은 사용자에게 품질 비용을 지웁니다.