Warum serverlose KI?

Traditionelle GPU-Server sind teuer und meistens im Leerlauf. Serverlose Inferenz erlaubt es dir, nur für die tatsächliche Nutzung zu bezahlen.

Plattformen

Modal

  • Python-native serverlose Cloud.
  • GPU-Zugriff bei Codeänderungen.
  • Großartig für ML-Pipelines und Batch-Inferenz.
  • Preisgestaltung: GPU-Abrechnung pro Sekunde.

Replicate

  • Open-Source-Modelle über API ausführen.
  • Kein Infrastrukturmanagement.
  • Riesige Modellbibliothek (Llama, Stable Diffusion, Whisper).
  • Preisgestaltung: GPU-Zeit pro Sekunde.

Cloudflare Workers KI

  • Edge-deployed Modelle weltweit.
  • Niedrige Latenz für Endnutzer.
  • Begrenzte Modellauswahl, aber wachsend.
  • Preis: Auf Anfrage.

Banana / Together AI

  • Spezialisiert auf LLM-Inferenz.
  • Automatische Skalierung von null auf tausende Anfragen.
  • Wettbewerbsfähige Preise für hochvolumige Workloads.

Architekturmuster

  • Kaltstartminderung: Verwende Modell-Caching und Vorwärmen.
  • Puffere Anfragen während des Scale-Ups.
  • Edge + Cloud: Einfache Modelle am Edge, komplex in der Cloud.

Wann man Serverless NICHT nutzen sollte

  • Konsistente Hochdurchsatz-Workloads (>80 % GPU-Auslastung).
  • Modelle, die für den verfügbaren serverlosen GPU-Speicher zu groß sind.
  • Latenzempfindliche Anwendungen, die <50 ms Antwort erfordern.

Das häufigste Muster ist API Gateway → Lambda/Cloud Function → Modell-Endpunkt. Für GPU-Inferenz nutze Dienste wie Modal, Replicate oder AWS Lambda mit GPU (bald verfügbar). Für CPU-Inferenz (kleine, quantisierte Modelle) funktionieren Standard-Lambda-Funktionen gut.

Kaltstart-Optimierung

Kaltstarts sind die größte Herausforderung bei serverloser KI. Strategien:

  • Provisioned Concurrency: Halte warme Instanzen bereit (AWS) gegen Aufpreis.
  • Modell-Caching: Lege Modelle in /tmp oder EFS ab. Lambda kann Dateien zwischen Aufrufen wiederverwenden, solange der Container warm ist.
  • Kleinere Modelle: Ein 100-MB-Modell lädt in ~200 ms; ein 2-GB-Modell braucht ~4 Sekunden. Nutze quantisierte Modelle (GGUF Q4), um die Größe zu minimieren.
  • SnapStart: AWS Lambda SnapStart reduziert Kaltstarts um 90 % für Java-basierte Inferenzserver.

Wo Kaltstarts wirklich wehtun

Eine Serverless-Funktion, die bei jedem Kaltstart ein Modell mit mehreren Gigabyte laden muss, ist in keinem nützlichen Sinn serverless: Die erste Anfrage nach Leerlauf dauert Dutzende Sekunden, und die Kosten, das Modell warm zu halten, nähern sich denen einer kleinen VM. Die praktische Aufteilung: das Modell hinter einem verwalteten Inferenz-Endpunkt lassen und der Serverless-Funktion nur die Orchestrierung geben – Authentifizierung, Prompt-Zusammenbau, Retrieval und Antwortformung. Diese Schritte kosten Millisekunden und skalieren sauber auf null, während der teure Teil auf Infrastruktur bleibt, die dafür gebaut ist, warm zu bleiben.

Musst du das Modell wirklich in der Funktion betreiben, miss die p95-Kaltstartlatenz mit deiner eigenen Last, nicht den Durchschnitt aus einem Blogpost. Sie hängt von Imagegröße, Layer-Cache und davon ab, ob der Anbieter deinen Container nach dem Deployment warm hält. Ein schlankeres Image und ein kleineres quantisiertes Modell halbieren sie oft.

Streaming verändert die Ökonomie

Token-Streaming gilt als UX-Feature, verändert aber auch die Zeitbudgetierung. Eine Anfrage, die in acht Sekunden fertig ist, wirkt kaputt, wenn der Nutzer auf einen Spinner starrt, und sofort, wenn das erste Token nach 300 ms kommt. Setze den Timeout auf die Zeit bis zum ersten Token und lass den Stream danach weiterlaufen.

Halte den Modellaufruf hinter einer einzigen Funktion

Ob du irgendwann von Serverless zu einem Container wechselst oder von einem Anbieter zu einem anderen, hängt davon ab, wie viele Stellen das Modell kennen. Ein Modul, das Client, Timeout, Retry-Politik und Antwortform besitzt, macht eine Migration zu einem Nachmittag. Den SDK direkt aus fünf Route Handlers aufzurufen macht daraus ein Umschreiben.