llama.cpp
llama.cpp es el motor de inferencia ligero en C/C++ que ejecuta LLMs abiertos con eficiencia en CPUs y GPUs de consumo, sirviendo de base a muchas herramientas locales como Ollama y LM Studio. Sus formatos de cuantización GGUF permiten que modelos grandes quepan en hardware modesto sin aceleradores dedicados.
Descripción general
"llama.cpp" es un recurso de tipo "Código abierto" seleccionado por AI Resource Hub, clasificado en la categoría Herramientas y adecuado para estudiantes de nivel Avanzado. Lo proporciona ggml community, se actualizó por última vez el 2026-07-24 y tiene una puntuación editorial de 4.8/5 de nuestro equipo. Haz clic en "Visitar recurso" a la derecha para abrir la página original.
Nuestro veredicto
llama.cpp es el motor open source gratuito que hizo prácticos los LLM locales: un código ligero en C/C++ que ejecuta modelos abiertos en CPUs normales, Apple Silicon y GPUs de consumo, sin Python. Su cuantización GGUF y su modo servidor compatible con OpenAI son la base sobre la que se asientan herramientas como Ollama y LM Studio. Los compromisos son reales: es de línea de comandos primero, así que la interfaz la montas tú, y los modelos cuantizados ceden algo de calidad por tamaño. Para desarrolladores que buscan control máximo y huella mínima, esta es la implementación de referencia: empieza aquí antes de recurrir a envoltorios.
Etiquetas
Características clave
- ▹Inferencia eficiente en CPU/GPU para modelos GGUF
- ▹Cuantización para caber en hardware modesto
- ▹Modo servidor con API compatible con OpenAI
Ideal para
- ▹Ejecutar LLMs abiertos en CPU y GPU de consumo
- ▹La base bajo Ollama, LM Studio y similares
- ▹Modelos GGUF cuantizados en hardware modesto
No ideal para
- ▪Equipos que quieren una UI de chat pulida de serie
- ▪Servir en nube de alta concurrencia
Ventajas
- +Corre prácticamente en cualquier sitio, sin Python
- +El motor de referencia sobre el que se apoyan muchas herramientas
- +El motor de referencia en el que se basan muchas herramientas locales
Desventajas
- −Primero línea de comandos; las GUIs viven en otro lado
- −Primero la línea de comandos; la interfaz la montas tú
- −Los modelos cuantizados cambian algo de calidad por tamaño
Preguntas frecuentes
Detalles
- Precios
- Gratuito y open source
- Autor
- ggml community
- Puntuación editorial
- ★ 4.8 / 5
- Última actualización
- 24 jul 2026