Das Kostenproblem
Die Kosten für LLM-APIs können schnell in die Höhe schnellen. Eine bescheidene App, die 10.000 Nutzer bedient, kann 500 bis 2000 Dollar pro Monat kosten. So kannst du das senken.
1. Aggressiv cachen
- Speichere identische oder ähnliche Abfragen mit semantischem Caching.
- Verwende Redis oder In-Memory LRU für heiße Pfade.
- Cache-Rate: 30–60 % für die meisten Anwendungen.
2. Verwende kleinere Modelle für einfache Aufgaben
- Leite einfache Anfragen an GPT-6 Luna oder Claude Haiku 5.5 weiter.
- Reserviere GPT-6 Astra oder Claude Sonnet 5.5 für komplexes Denken.
- Verwende einen Klassifikator, um das Routing zu bestimmen.
3. Prompts optimieren
- Kürzere Systemeingaben = weniger Eingabetoken.
- Entferne redundante Anweisungen.
- Verwende strukturierte Ausgaben, um ausführliche Antworten zu vermeiden.
4. Batch-Anfragen
- OpenAI und Anthropic bieten Batch-APIs mit 50 % Rabatt an.
- Stelle nicht-dringende Anfragen in die Warteschlange und verarbeite sie in Batches.
5. Kontextfenster begrenzen
- Sende nur relevanten Kontext, nicht komplette Dokumente.
- Benutze RAG, um genau die nötigen Stücke zu holen.
- Fasse lange Gespräche vor dem Absenden zusammen.
6. Budgets überwachen und festlegen
- Nutze Nutzungs-Dashboards, um Ausgaben zu verfolgen.
- Setze feste Grenzen pro Nutzer und pro Funktion.
- Alarmiere bei ungewöhnlichen Spitzen.
7. Feinabstimmung statt Prompt
- Ein fein abgestimmtes kleines Modell kann ein großes Modell mit Prompts ersetzen.
- Spart das Fünf- bis Zehnfache der Kosten pro Token in großem Maßstab (Faustregel, keine veröffentlichte Zahl: Die Gewinnschwelle hängt von Tokenvolumen, Trainingskosten und Modellpaar ab – miss sie mit deinem eigenen Traffic).
8. Nutze Streaming
- Streaming ermöglicht es Benutzern, frühzeitig abzubrechen und so Ausgabetoken zu speichern.
- Auch eine bessere UX – Nutzer sehen teilweise Ergebnisse.
9. Self-Host für hohes Volumen
- Mit >10 Millionen Tokens pro Tag sind selbstgehostete Open-Source-Modelle oft günstiger (Faustregel, keine veröffentlichte Schwelle: Ingenieurszeit, ungenutzte GPU-Kapazität und vorhandene Hardware bleiben unberücksichtigt – vergleiche mit deiner eigenen Rechnung).
- Verwende vLLM oder TGI für effizientes Servieren.
10. Verhandele Unternehmenspläne
- Die meisten Anbieter bieten Mengenrabatte an.
- Verpflichte dich zu monatlichen Ausgaben für bessere Tarife.
Schneller Gewinn: semantisches Caching
Viele API-Aufrufe sind Duplikate oder Fast-Duplikate. Ein semantischer Cache speichert die Embeddings früherer Eingaben und ihre Antworten. Wenn eine neue Anfrage eintrifft, berechne ihr Embedding und prüfe die Ähnlichkeit gegen den Cache. Übersteigt die Kosinus-Ähnlichkeit 0,95, gib die gespeicherte Antwort zurück. Allein das kann die Kosten in vielen Anwendungen um 30 bis 60 % senken.
Modell-Routing: die 80/20-Regel
Nicht jede Anfrage braucht ein Spitzenmodell. Leite einfache Anfragen (Formatierung, kurze Antworten, Klassifikation) an günstigere Stufen wie GPT-6 Luna oder Claude Haiku 5.5. Halte teure Modelle für komplexes Schlussfolgern, lange Textgenerierung oder Aufgaben mit hohem Genauigkeitsbedarf frei. Ein einfacher Klassifikator am Eingang kann Anfragen nach Komplexität sortieren und entsprechend weiterleiten.
Stapelverarbeitung und asynchrone Verarbeitung
Wenn dein Anwendungsfall keine Echtzeitantworten erfordert, fasse Anfragen zu Stapeln zusammen. Die Batch-API von OpenAI bietet 50 % Rabatt. Verarbeite sie in verkehrsarmen Zeiten für noch bessere Tarife. Nutze Streaming ebenso gezielt: Streaming ist hervorragend für Chat-Oberflächen, verschwendet aber Ressourcen bei der Hintergrundverarbeitung.
Der Großteil deiner Rechnung sind Eingabe-Tokens, die du nicht brauchtest
Der Instinkt ist, den Preis pro Token zu verhandeln. Der größere Hebel ist meist die Tokenzahl, und die meisten sind Eingabe. Lange System-Prompts, abgerufener Kontext mit ganzen Dokumenten statt der relevanten Passage und ein Gesprächsverlauf, der ohne Beschneidung wächst, multiplizieren deine Rechnung bei jeder einzelnen Anfrage. Miss das Verhältnis von Eingabe- zu Ausgabe-Tokens deiner App; liegt es weit über dem, was die Aufgabe braucht, hast du dein erstes Projekt gefunden.
Beschneide den Verlauf bewusst: die letzten Turns wörtlich behalten, ältere zusammenfassen, den Rest verwerfen. Cache das statische Präfix, wenn dein Anbieter Prefix-Caching unterstützt, und baue den Prompt so, dass der statische Teil zuerst und der variable zuletzt kommt. Allein diese Reihenfolge verändert den gecachten Anteil erheblich.
Nach Schwierigkeit routen
Nicht jede Anfrage braucht dein größtes Modell. Ein billiger Klassifizierer, der einfache Anfragen an ein kleines Modell schickt und nur die schweren eskaliert, kann die Kosten um einen großen Faktor senken und die Qualität dort halten, wo sie zählt. Miss die Qualität des eskalierten Pfads gegen das Senden von allem ans große Modell; der übliche Befund ist, dass das kleine Modell den Großteil des Traffics akzeptabel bewältigt und die Eskalationsrate niedrig ist.
Achte auf Retry-Stürme
Eine scheiternde Anfrage, die dreimal wiederholt wird, kostet viermal so viel und erzeugt denselben Fehler. Begrenze Retries, unterscheide wiederholbare von nicht wiederholbaren Fehlern und protokolliere die Retry-Rate. Ein plötzlicher Kostenanstieg ist öfter eine Retry-Schleife als ein Traffic-Anstieg.
Kaufe das Billigste, das deine Evaluation besteht
Lass dein eigenes Evaluationsset gegen ein kleineres Modell laufen, bevor du annimmst, du brauchst die Frontier. Der Abstand ist oft kleiner als der Preisunterschied, und die Entscheidung sollte aus deinen Daten kommen statt aus einem allgemeinen Eindruck.
Die Modellnamen wurden am 2026-11-10 mit der offiziellen Dokumentation von OpenAI und Anthropic abgeglichen.