Das Problem

LLMs sind großartig zur Textgenerierung, aber Anwendungen benötigen oft strukturierte Daten – JSON-Objekte, Arrays, typisierte Werte. Um eine zuverlässige, strukturierte Ausgabe zu erhalten, sind spezifische Techniken erforderlich.

Ansatz 1: Prompt-Engineering

Bitte das Modell, im JSON-Format zu antworten:

  • Spezifiziere das genaue Schema im Prompt.
  • Füge ein Beispiel für ein Ein-/Ausgabepaar ein.
  • Füge hinzu: "Nur mit gültigem JSON antworten. Keine Erklärung."

Ansatz 2: Funktionsaufruf / Werkzeugnutzung

Die meisten großen APIs unterstützen inzwischen Funktionsaufrufe:

  • Definiere ein JSON-Schema für die erwartete Ausgabe.
  • Das Modell ist darauf beschränkt, das Schema zu übereinstimmen.
  • Arbeitet mit OpenAI, Anthropic, Google und den meisten Anbietern zusammen.

Ansatz 3: Eingeschränkte Dekodierung

Bibliotheken wie Outlines und LMQL zwingen das Modell dazu, gültige Ausgaben zu liefern:

  • Definiere ein Pydantisches Modell oder JSON-Schema.
  • Der Dekodierungsprozess erzwingt das Schema Token für Token.
  • 100%ige Garantie einer gültigen Outputstruktur.

Ansatz 4: Instructor-Bibliothek

Die Instructor-Bibliothek umwickelt jede LLM-API mit Pydantic-Validierung:

  • Definiere dein Datenmodell mit Pydantic.
  • Der Instructor übernimmt Wiederholungen und Validierungen automatisch.
  • Arbeitet mit OpenAI-, Anthropic-, Gemini- und lokalen Modellen.

Best Practices

  • Validiere die Ausgabe immer anhand eines Schemas.
  • Verwende Enum-Typen für Felder mit begrenzten Optionen.
  • Beziehe Wiederholungs-Logik für fehlgeformte Antworten ein.
  • Halte Schemata einfach – verschachtelte Strukturen erhöhen die Fehlerraten.
  • Teste mit 50+ Beispielen, um die Zuverlässigkeit zu messen.

Praktische Muster

Der zuverlässigste Weg zu strukturierter Ausgabe ist, eine klare Schema-Definition im System-Prompt mit Few-Shot-Beispielen zu kombinieren. Zeige dem Modell 2–3 Ein-/Ausgabe-Paare im exakt gewünschten Format. Für OpenAI-Modelle nutze den Parameter response_format mit JSON-Schema. Für Claude nutze die tool_use-API, um strukturierte Antworten zu erzwingen.

Häufige Fallstricke

  • Schema-Komplexität: Halte Schemata flach und einfach. Tief verschachtelte Objekte erhöhen die Fehlerraten. Wenn du verschachtelte Daten brauchst, baue sie in Stufen auf.
  • Validierung: Validiere die Ausgabe immer gegen dein Schema, bevor du sie verwendest. LLMs erzeugen gelegentlich ungültiges JSON oder lassen Pflichtfelder weg.
  • Enum-Behandlung: Wenn du Enums verwendest, nimm alle gültigen Werte in den Prompt auf. Modelle erfinden manchmal Werte, die nicht in deinem Schema stehen.
  • Escaping: JSON innerhalb von JSON-Strings ist eine häufige Fehlerquelle. Nutze korrektes Escaping oder wechsle für die äußere Ebene zu einem Format wie YAML.

Den Decoder einschränken, wenn du es kannst

Jeder Anbieter bietet inzwischen irgendeine grammatik- oder schema-constrained Decoding-Form, und wo sie verfügbar ist, ist sie strikt besser als höflich um JSON zu bitten. Der Unterschied ist nicht die Formatgenauigkeit, sondern die Beseitigung der Reparaturschleife. Ein Modell, das strukturell keine unvollständige Klammer ausgeben kann, erspart dir den Retry, den Truncation-Handler und den Parser-Exception-Zweig, den du sonst testen müsstest.

Wo die Einschränkung fehlt, verlange das kleinstmögliche Objekt und validiere es vor der Verwendung. Der Fehlermodus von unconstrained JSON ist nicht ungültige Syntax, sondern gültiges JSON mit falschen Typen, einem unerwarteten Zusatzfeld oder einem null, wo du einen String gefordert hast.

Schemas für das Modell entwerfen, nicht für deine Datenbank

Ein Schema mit vierzehn Pflichtfeldern und einer verschachtelten Union erzeugt mehr Fehler als eines mit vier flachen Feldern, auch wenn die Datenbankversion die ist, die du eigentlich speichern willst. Der praktikable Mittelweg: Das Modell gibt eine kleine Zwischenform aus, und dein Code mappt sie auf das Speicherschema. Dieses Mapping sind ein paar Zeilen gewöhnlicher Code, ohne Modell testbar, und es nimmt dem Modell die Fähigkeit, deine Invarianten zu verletzen.

Optionale Felder verdienen besondere Sorgfalt. Ein als optional markiertes Feld lehrt das Modell, dass Weglassen akzeptabel ist, und es lässt es genau dann weg, wenn der Wert schwer zu bestimmen ist – der Fall, für den du am meisten Evidenz brauchtest. Ziehe einen expliziten Sentinel-Wert dem Fehlen vor, wenn du unbekannt von nicht zutreffend unterscheiden musst.

Validieren, dann einmal reparieren

Scheitert die Validierung, wiederhole mit dem konkreten Fehler statt nur der Rohausgabe. Nimm den genauen Pfad auf, der fehlgeschlagen ist. Ein gezielter Retry löst die meisten Fehler; ein blinder Retry reproduziert meist denselben Fehler. Nach dem zweiten Fehlschlag lass die Anfrage scheitern statt zu loopen, und protokolliere beide Versuche, denn das Paar ist die nützlichste Evidenz über deinen Prompt, die du bekommst.