Tokenizer

Die Komponente, die Rohtext in Tokens zerlegt und sie wieder in Text zurückverwandelt.

Die meisten modernen Tokenizer arbeiten mit Subword-Verfahren wie BPE: Seltene Wörter zerfallen in mehrere Tokens, häufige bleiben ganz. Deshalb kostet derselbe Inhalt je nach Sprache unterschiedlich viele Tokens.

Verwandte Ressourcen

Umarmungs-Face-Transformers-Tutorial

Das offizielle Tutorial für Hugging Face Transformers, die Branchenstandard-Bibliothek für NLP und Computer Vision. Es behandelt Textklassifikation, Tokenisierung, Übersetzung, Bildsegmentierung und mehr mit Code-Beispielen für PyTorch und TensorFlow – für Praktiker, die vortrainierte Modelle nutzen oder auf eigenen Datensätzen feinabstimmen wollen.

Der vollständige OpenAI-API-Leitfaden

Ein umfassender Schritt-für-Schritt-Leitfaden durch das OpenAI-API-Ökosystem mit GPT, DALL·E und Whisper im Tiefgang. Von Kontoeinrichtung und Authentifizierung über den ersten API-Aufruf bis zu Prompt-Designmustern und Kostenoptimierung – ideal für Entwickler, die neu auf der OpenAI-Plattform sind.