Transformer

Die Netzarchitektur hinter modernen LLMs, die mit Self-Attention alle Tokens parallel verarbeitet.

Vorgestellt im 2017er-Paper „Attention Is All You Need“, verdrängte sie rekurrente Netze und machte Training im ganz großen Maßstab möglich. Praktisch jedes bekannte LLM ist heute eine Transformer-Variante.

Verwandte Ressourcen

Umarmungs-Face-Transformers-Tutorial

Das offizielle Tutorial für Hugging Face Transformers, die Branchenstandard-Bibliothek für NLP und Computer Vision. Es behandelt Textklassifikation, Tokenisierung, Übersetzung, Bildsegmentierung und mehr mit Code-Beispielen für PyTorch und TensorFlow – für Praktiker, die vortrainierte Modelle nutzen oder auf eigenen Datensätzen feinabstimmen wollen.

PyTorch Deep-Learning-Framework

PyTorch ist ein führendes Open-Source-Deep-Learning-Framework von Meta, bekannt für seinen dynamischen Rechengraph und die Python-artige Schnittstelle. Es treibt sowohl Spitzenforschung als auch Produktions-Deployments an, mit einem reichen Ökosystem an Tools für Training, Debugging und Skalierung von Modellen über GPUs und TPUs.