Inferencia

El proceso de ejecutar un modelo ya entrenado para producir resultados, a diferencia de entrenarlo.

La velocidad de inferencia se mide en tokens por segundo, y la latencia marca la experiencia de un chat. Motores de servicio como vLLM y hardware como Groq existen precisamente para exprimir el rendimiento y abaratar la inferencia.

Recursos relacionados

Marco de Inferencia de Alto Rendimiento vLLM

vLLM es un motor de inferencia y servicio de alto rendimiento para modelos de lenguaje grandes que usa PagedAttention para mejorar drásticamente la eficiencia de memoria y el rendimiento. Soporta batching continuo, paralelismo de tensores y servicio API compatible con OpenAI, siendo la opción preferida para desplegar LLMs a escala.

API de inferencia de alta velocidad Groq

Groq ofrece inferencia LLM ultrarrápida mediante hardware LPU propio, con acceso API a modelos open source populares a latencia muy baja. Es ideal para aplicaciones en tiempo real como chatbots y asistentes de código donde la velocidad importa, con precios basados en uso de tokens.