GGUF

Formato de archivo para modelos cuantizados, muy usado para ejecutar LLMs en local con herramientas como llama.cpp y Ollama.

Un único archivo .gguf empaqueta pesos y metadatos, y el nombre suele indicar el nivel de cuantización (p. ej. Q4_K_M). A más bits, más precisión, pero también más tamaño y menos velocidad.

Recursos relacionados

Despliegue de LLMs locales con Ollama

Herramienta multiplataforma que permite descargar y ejecutar LLMs open source como Llama, Mistral y Phi en tu propia máquina. Ofrece CLI, servidor API local y endpoint compatible con OpenAI para experimentar con modelos en privado, sin GPU ni cuenta en la nube; ideal para desarrolladores que necesitan capacidades de IA offline o probar prompts antes de desplegar en producción.

Cliente local de modelo LM Studio

LM Studio es una app de escritorio que permite descargar y ejecutar LLMs de código abierto en local con un solo clic. Ofrece una interfaz gráfica pulida para chatear con modelos, un servidor API local compatible con OpenAI y soporte para formatos GGUF/GGML, sin necesidad de línea de comandos ni conocimientos de GPU.

llama.cpp es el motor de inferencia ligero en C/C++ que ejecuta LLMs abiertos con eficiencia en CPUs y GPUs de consumo, sirviendo de base a muchas herramientas locales como Ollama y LM Studio. Sus formatos de cuantización GGUF permiten que modelos grandes quepan en hardware modesto sin aceleradores dedicados.