Cuantización

Reducir la precisión numérica de los pesos (p. ej., a 4 bits) para achicar el modelo y ejecutarlo en hardware modesto.

Un modelo cuantizado a 4 bits ocupa aproximadamente una cuarta parte del original en 16 bits, lo que permite correr un 7B–8B en un portátil con una pérdida de calidad pequeña y normalmente asumible.

Recursos relacionados

Despliegue de LLMs locales con Ollama

Herramienta multiplataforma que permite descargar y ejecutar LLMs open source como Llama, Mistral y Phi en tu propia máquina. Ofrece CLI, servidor API local y endpoint compatible con OpenAI para experimentar con modelos en privado, sin GPU ni cuenta en la nube; ideal para desarrolladores que necesitan capacidades de IA offline o probar prompts antes de desplegar en producción.

Cliente local de modelo LM Studio

LM Studio es una app de escritorio que permite descargar y ejecutar LLMs de código abierto en local con un solo clic. Ofrece una interfaz gráfica pulida para chatear con modelos, un servidor API local compatible con OpenAI y soporte para formatos GGUF/GGML, sin necesidad de línea de comandos ni conocimientos de GPU.

llama.cpp es el motor de inferencia ligero en C/C++ que ejecuta LLMs abiertos con eficiencia en CPUs y GPUs de consumo, sirviendo de base a muchas herramientas locales como Ollama y LM Studio. Sus formatos de cuantización GGUF permiten que modelos grandes quepan en hardware modesto sin aceleradores dedicados.