Stack LLM open source
Ejecuta y construye con modelos de pesos abiertos: runtimes locales, servidores de inferencia y frameworks de apps.
Despliegue de LLMs locales con Ollama
Herramienta multiplataforma que permite descargar y ejecutar LLMs open source como Llama, Mistral y Phi en tu propia máquina. Ofrece CLI, servidor API local y endpoint compatible con OpenAI para experimentar con modelos en privado, sin GPU ni cuenta en la nube; ideal para desarrolladores que necesitan capacidades de IA offline o probar prompts antes de desplegar en producción.
Marco de Inferencia de Alto Rendimiento vLLM
vLLM es un motor de inferencia y servicio de alto rendimiento para modelos de lenguaje grandes que usa PagedAttention para mejorar drásticamente la eficiencia de memoria y el rendimiento. Soporta batching continuo, paralelismo de tensores y servicio API compatible con OpenAI, siendo la opción preferida para desplegar LLMs a escala.
Open WebUI
Open WebUI es una interfaz de chat IA autoalojada y rica en funciones que soporta Ollama y APIs compatibles con OpenAI de inmediato. Funciona totalmente offline, ofrece una experiencia de conversación multimodelo pulida e incluye gestión de roles, soporte Markdown y extensibilidad por plugins para equipos e individuos.
Cliente local de modelo LM Studio
LM Studio es una app de escritorio que permite descargar y ejecutar LLMs de código abierto en local con un solo clic. Ofrece una interfaz gráfica pulida para chatear con modelos, un servidor API local compatible con OpenAI y soporte para formatos GGUF/GGML, sin necesidad de línea de comandos ni conocimientos de GPU.
Plataforma de Desarrollo de Aplicaciones LLM Dify
Dify es una plataforma open source de desarrollo de aplicaciones LLM que combina orquestación visual de workflows, un motor RAG integrado y capacidades de agente. Permite a desarrolladores y usuarios no técnicos construir, probar y desplegar apps con IA rápidamente, con soporte para múltiples proveedores de modelos e integración API fluida.
Marco de Aprendizaje Profundo PyTorch
PyTorch es un framework líder de deep learning desarrollado por Meta, famoso por su grafo de computación dinámico e interfaz Pythonica. Impulsa tanto investigación de vanguardia como despliegues en producción, con un ecosistema rico en herramientas para entrenar, depurar y escalar modelos en GPUs y TPUs.
Tutorial de Hugging Face Transformers
Tutorial oficial de Transformers de Hugging Face, la biblioteca estándar de la industria para NLP y visión por computador. Cubre clasificación de texto, tokenización, traducción, segmentación de imágenes y más, con ejemplos de código para PyTorch y TensorFlow; orientado a profesionales que quieren aprovechar modelos preentrenados o ajustarlos con datasets propios para uso en producción.
Meta Llama
Llama es la familia de modelos de pesos abiertos de Meta — la columna vertebral del ecosistema de IA open source, desplegable en local o en cualquier nube. Disponible en múltiples tamaños desde ligeros hasta clase frontera, Llama impulsa incontables derivados afinados y da a las organizaciones control total sobre su stack de IA.
llama.cpp
llama.cpp es el motor de inferencia ligero en C/C++ que ejecuta LLMs abiertos con eficiencia en CPUs y GPUs de consumo, sirviendo de base a muchas herramientas locales como Ollama y LM Studio. Sus formatos de cuantización GGUF permiten que modelos grandes quepan en hardware modesto sin aceleradores dedicados.