Transformer 架构

现代大模型背后的神经网络架构，通过自注意力并行处理所有词元。

源自 2017 年论文《Attention Is All You Need》，它取代了循环网络并使超大规模训练成为可能。如今几乎所有知名大模型都是 Transformer 的变体。

相关资源

Hugging Face Transformers 教程

Hugging Face Transformers 官方教程——NLP 与计算机视觉领域的行业标准库。涵盖文本分类、分词、翻译、图像分割等任务，提供 PyTorch 和 TensorFlow 双后端代码示例。适合希望利用预训练模型或在自定义数据集上微调以投入生产使用的从业者。

PyTorch 深度学习框架

PyTorch 是 Meta 开发的业界主流开源深度学习框架，以动态计算图和 Python 风格的接口著称。它既支撑前沿 AI 研究，也用于生产环境部署，拥有丰富的训练、调试工具生态，支持在多 GPU 和 TPU 上扩展模型。