Inférence

Le fait d’exécuter un modèle entraîné pour produire des sorties, par opposition à son entraînement.

La vitesse d’inférence se mesure en tokens par seconde, et la latence fait toute l’expérience d’un chat. Des moteurs comme vLLM et du matériel comme Groq existent précisément pour maximiser le débit et réduire le coût de l’inférence.

Ressources associées

Cadre d’inférence haute performance vLLM

vLLM est un moteur d'inférence et de serving à haut débit pour grands modèles de langage, utilisant PagedAttention pour améliorer drastiquement l'efficacité mémoire et le débit. Il supporte le batching continu, le parallélisme de tenseurs et le service API compatible OpenAI, ce qui en fait un choix de premier plan pour déployer des LLMs à l'échelle.

API d’inférence à haute vitesse Groq

Groq fournit une inférence LLM ultra-rapide grâce à son matériel LPU personnalisé, offrant un accès API aux modèles open source populaires avec une latence remarquablement basse. Idéal pour les applications temps réel comme les chatbots et assistants de code où la vitesse compte, avec tarification à l'usage de tokens.