Einstieg in LLMs: So funktionieren große Sprachmodelle

Ein großes Sprachmodell ist ein neuronales Netz, das mit riesigen Textmengen trainiert wurde. Im Kern tut es nur eines: aus dem vorhandenen Text das wahrscheinlichste nächste Wort vorhersagen.

Aus dieser scheinbar simplen Fähigkeit, „das nächste Wort vorherzusagen“, entstehen bei gewaltigen Mengen an Parametern und Daten komplexe Fertigkeiten wie Konversation, Übersetzung, Programmieren und Zusammenfassen.

Das Modell verarbeitet keine Zeichen direkt: Es zerlegt den Text zunächst in Tokens. Ein Token kann ein ganzes Wort sein, ein Teilwort oder nur wenige Zeichen.

Im Englischen entsprechen rund 4 Zeichen etwa einem Token; im Chinesischen sind es meist 1–2 Tokens pro Zeichen. API-Abrechnung und Kontextlimits werden durchweg in Tokens gemessen.

Bei einer Eingabe (dem Prompt) berechnet das Modell für jedes Token seines Vokabulars eine Wahrscheinlichkeit, wählt nach einer Sampling-Strategie das nächste aus, hängt es an die Eingabe an und wiederholt die Schleife bis zum Ende der Generierung.

Der Temperatur-Parameter steuert die Zufälligkeit: Niedrige Werte machen die Ausgabe deterministischer und vorsichtiger; hohe Werte sind kreativer, schweifen aber auch leichter ab.

Die Gesamtzahl an Tokens, die ein Modell gleichzeitig „sehen“ kann, heißt Kontextfenster. Was darüber hinausgeht, wird abgeschnitten oder vergessen – deshalb brauchen lange Gespräche Zusammenfassungen und lange Dokumente eine Aufteilung in Abschnitte.

Ein LLM kann „mit voller Überzeugung Unsinn erzählen“ – das nennt man Halluzination. Das Modell „weiß“ keine Fakten; es sagt lediglich den Text voraus, der am ehesten wie eine Antwort aussieht.

Wo präzise Informationen zählen, sollte man deshalb Retrieval-Augmented Generation (RAG), Tool-Aufrufe oder menschliche Prüfung kombinieren, um das Risiko zu senken.

Das Training eines LLM erfolgt in Stufen. Zuerst das Pre-Training: Das Modell liest Billionen von Tokens aus dem öffentlichen Internet, Büchern, Code-Repositories und lizenzierten Datensätzen. In dieser Phase lernt es Grammatik, Weltwissen und Denkmuster – kann aber noch nicht gut Anweisungen folgen und erzeugt möglicherweise unsichere Inhalte.

Danach kommt das Fine-Tuning: Menschen schreiben hochwertige Frage-Antwort-Paare, und das Modell lernt, Anweisungen zu folgen und schädliche Anfragen abzulehnen. Schließlich richtet Reinforcement Learning from Human Feedback (RLHF) das Verhalten des Modells noch besser an menschlichen Präferenzen aus. Genau diese Pipeline erklärt, warum ein rohes Pre-Training-Modell und ein poliertes Produkt wie ChatGPT dieselbe Architektur teilen, sich aber völlig unterschiedlich verhalten.

LLMs sind heute in nahezu jede Art von Software eingebettet. Typische Anwendungsfälle: Schreibassistenten (E-Mail-Entwürfe, Blogbeiträge, Werbetexte), Coding-Copilots (Autovervollständigung, Code-Review, Testgenerierung), Kundensupport-Chatbots, Dokumentenzusammenfassung, Datenextraktion aus unstrukturiertem Text und Übersetzung. In der Bildung wirken sie als persönliche Tutoren; im Gesundheitswesen helfen sie bei klinischen Notizen; im Rechtswesen beschleunigen sie die Vertragsprüfung.

Nicht jedes LLM passt zu jeder Aufgabe. Beachte bei der Auswahl: (1) Aufgabenfit – ist es bei deinem spezifischen Anwendungsfall (Coding, kreatives Schreiben, Zusammenfassung) stark? (2) Kontextfenster – kann es deine Dokumentenlänge verarbeiten? (3) Latenz und Kosten – passt die API-Preisgestaltung bei deinem erwarteten Volumen ins Budget? (4) Datenschutz – kannst du es selbst hosten, oder reicht eine Cloud-API? (5) Mehrsprachige Unterstützung – schneidet es in deinen Zielsprachen gut ab? Benchmarke zwei oder drei Kandidaten mit deinen eigenen Daten, bevor du dich festlegst; Leaderboards geben ein grobes Signal, können aber Tests mit echter Arbeitslast nicht ersetzen.