Inferenz

Das Ausführen eines trainierten Modells zur Erzeugung von Ausgaben – im Gegensatz zum Training.

Die Inferenzgeschwindigkeit wird in Tokens pro Sekunde gemessen, und die Latenz entscheidet über das Chat-Erlebnis. Serving-Engines wie vLLM und Hardware wie Groq sind genau darauf ausgelegt, Durchsatz und Kosten der Inferenz zu optimieren.

Verwandte Ressourcen

vLLM Hochleistungsinferenz-Framework

vLLM ist ein Hochdurchsatz-Inferenz- und Serving-Engine für große Sprachmodelle, die PagedAttention verwendet, um Speichereffizienz und Durchsatz drastisch zu verbessern. Es unterstützt kontinuierliches Batching, Tensor-Parallelität und OpenAI-kompatibles API-Serving – die erste Wahl für die Skalierung von LLMs.

Groq High-Speed Inference API

Groq bietet ultra-schnelle LLM-Inferenz durch eigene LPU-Hardware und API-Zugriff auf beliebte Open-Source-Modelle bei bemerkenswert niedriger Latenz. Ideal für Echtzeitanwendungen wie Chatbots und Code-Assistenten, bei denen Geschwindigkeit zählt, mit Token-basierter Abrechnung.