오픈소스고급
llama.cpp
The lightweight C/C++ inference engine that runs open LLMs efficiently on CPUs and GPUs — the foundation beneath many local AI tools.
개요
"llama.cpp"은(는) AI Resource Hub가 선별한 "오픈소스" 유형의 리소스로, Open-Source Tools 카테고리에 속하며 고급 수준의 학습자에게 적합합니다. ggml community이(가) 제공하며 2026-07-24에 마지막으로 업데이트되었고, 편집자 평가는 4.8/5입니다. 원본 페이지를 열려면 오른쪽의 "리소스 방문"을 클릭하세요.
태그
Local LLMInferenceGGUF
주요 기능
- ▹Efficient CPU/GPU inference for GGUF models
- ▹Quantization to fit models on modest hardware
- ▹Server mode with an OpenAI-compatible API
장점
- +Runs almost anywhere, no Python required
- +The reference engine many tools build on
단점
- −Command-line first; GUIs live elsewhere
자주 묻는 질문
llama.cpp or Ollama?
Ollama wraps llama.cpp with easy model management; use llama.cpp directly for maximum control and minimal footprint.