양자화(Quantization)

가중치의 수치 정밀도를 낮춰(예: 4비트) 모델 크기를 줄이고 저사양 하드웨어에서 실행하는 기법입니다.

4비트로 양자화하면 16비트 원본의 4분의 1 크기가 되어, 7B~8B 모델도 노트북에서 돌릴 수 있습니다. 품질 손실은 대개 감수할 만한 수준입니다.

관련 리소스

Ollama를 이용한 로컬 LLM 배포

Llama·Mistral·Phi 등 오픈소스 LLM을 로컬 머신에서 다운로드하고 실행할 수 있는 크로스 플랫폼 도구입니다. CLI, 로컬 API 서버, OpenAI 호환 엔드포인트를 제공하여 GPU나 클라우드 계정 없이 프라이빗하게 모델을 체험할 수 있습니다. 오프라인 AI 기능이 필요하거나 프로덕션 배포 전 프롬프트를 테스트하려는 개발자에게 적합합니다.

LM 스튜디오 로컬 모델 클라이언트

LM Studio는 원클릭으로 오픈소스 LLM을 로컬에서 다운로드·실행하는 데스크톱 앱입니다. 모델과 채팅할 수 있는 세련된 GUI, OpenAI 호환 로컬 API 서버, GGUF/GGML 형식 지원을 제공하며 커맨드라인이나 GPU 전문 지식 없이 사용할 수 있습니다.

llama.cpp는 CPU와 일반 소비자용 GPU에서 오픈 LLM을 효율적으로 구동하는 경량 C/C++ 추론 엔진으로, Ollama·LM Studio 등 많은 로컬 AI 도구의 기반입니다. GGUF 양자화 포맷 덕분에 전용 가속기 없이도 대형 모델을 평범한 하드웨어에서 돌릴 수 있습니다.