Attention

Ein Mechanismus, mit dem das Modell gewichtet, welche Teile der Eingabe für jedes Ausgabetoken am wichtigsten sind.

Wenn ein „it“ im Satz aufzulösen ist, richtet Attention den Blick des Modells auf das richtige Substantiv. Self-Attention verleiht Transformern ihr starkes Gespür für weit entfernten Kontext.

Verwandte Ressourcen

Umarmungs-Face-Transformers-Tutorial

Das offizielle Tutorial für Hugging Face Transformers, die Branchenstandard-Bibliothek für NLP und Computer Vision. Es behandelt Textklassifikation, Tokenisierung, Übersetzung, Bildsegmentierung und mehr mit Code-Beispielen für PyTorch und TensorFlow – für Praktiker, die vortrainierte Modelle nutzen oder auf eigenen Datensätzen feinabstimmen wollen.

PyTorch Deep-Learning-Framework

PyTorch ist ein führendes Open-Source-Deep-Learning-Framework von Meta, bekannt für seinen dynamischen Rechengraph und die Python-artige Schnittstelle. Es treibt sowohl Spitzenforschung als auch Produktions-Deployments an, mit einem reichen Ökosystem an Tools für Training, Debugging und Skalierung von Modellen über GPUs und TPUs.