Saltar al contenido
Código abiertoAvanzado

llama.cpp

The lightweight C/C++ inference engine that runs open LLMs efficiently on CPUs and GPUs — the foundation beneath many local AI tools.

Descripción general

"llama.cpp" es un recurso de tipo "Código abierto" seleccionado por AI Resource Hub, clasificado en la categoría Open-Source Tools y adecuado para estudiantes de nivel Avanzado. Lo proporciona ggml community, se actualizó por última vez el 2026-07-24 y tiene una puntuación editorial de 4.8/5 de nuestro equipo. Haz clic en "Visitar recurso" a la derecha para abrir la página original.

Etiquetas

Local LLMInferenceGGUF

Características clave

  • Efficient CPU/GPU inference for GGUF models
  • Quantization to fit models on modest hardware
  • Server mode with an OpenAI-compatible API

Ventajas

  • +Runs almost anywhere, no Python required
  • +The reference engine many tools build on

Desventajas

  • Command-line first; GUIs live elsewhere

Preguntas frecuentes

llama.cpp or Ollama?

Ollama wraps llama.cpp with easy model management; use llama.cpp directly for maximum control and minimal footprint.