Kontextfenster

Die maximale Zahl an Tokens, die ein Modell gleichzeitig berücksichtigen kann; darüber hinaus wird Inhalt abgeschnitten oder vergessen.

Aktuelle Modelle reichen von rund 8K bis über eine Million Tokens. Ein großes Fenster erlaubt ganze Dokumente oder Codebasen – doch es zu füllen kostet mehr und kann den Fokus des Modells verwässern. Also: nur das Relevante mitschicken.