GGUF

양자화 모델 저장용 파일 형식으로, llama.cpp와 Ollama 등에서 LLM 로컬 실행에 널리 쓰입니다.

.gguf 파일 하나에 가중치와 메타데이터가 담기며, 파일명에 양자화 수준(예: Q4_K_M)이 표시되는 게 관례입니다. 비트가 높을수록 정확하지만 크고 느려집니다.

관련 리소스

Ollama를 이용한 로컬 LLM 배포

Llama·Mistral·Phi 등 오픈소스 LLM을 로컬 머신에서 다운로드하고 실행할 수 있는 크로스 플랫폼 도구입니다. CLI, 로컬 API 서버, OpenAI 호환 엔드포인트를 제공하여 GPU나 클라우드 계정 없이 프라이빗하게 모델을 체험할 수 있습니다. 오프라인 AI 기능이 필요하거나 프로덕션 배포 전 프롬프트를 테스트하려는 개발자에게 적합합니다.

LM 스튜디오 로컬 모델 클라이언트

LM Studio는 원클릭으로 오픈소스 LLM을 로컬에서 다운로드·실행하는 데스크톱 앱입니다. 모델과 채팅할 수 있는 세련된 GUI, OpenAI 호환 로컬 API 서버, GGUF/GGML 형식 지원을 제공하며 커맨드라인이나 GPU 전문 지식 없이 사용할 수 있습니다.

llama.cpp는 CPU와 일반 소비자용 GPU에서 오픈 LLM을 효율적으로 구동하는 경량 C/C++ 추론 엔진으로, Ollama·LM Studio 등 많은 로컬 AI 도구의 기반입니다. GGUF 양자화 포맷 덕분에 전용 가속기 없이도 대형 모델을 평범한 하드웨어에서 돌릴 수 있습니다.