注意力机制

一种机制，让模型为每个输出词元衡量输入中哪些部分最重要。

例如在句子中解析「它」指代什么时，注意力让模型聚焦到「它」所指的名词。自注意力正是 Transformer 能把握长距离上下文的关键。

相关资源

Hugging Face Transformers 教程

Hugging Face Transformers 官方教程——NLP 与计算机视觉领域的行业标准库。涵盖文本分类、分词、翻译、图像分割等任务，提供 PyTorch 和 TensorFlow 双后端代码示例。适合希望利用预训练模型或在自定义数据集上微调以投入生产使用的从业者。

PyTorch 深度学习框架

PyTorch 是 Meta 开发的业界主流开源深度学习框架，以动态计算图和 Python 风格的接口著称。它既支撑前沿 AI 研究，也用于生产环境部署，拥有丰富的训练、调试工具生态，支持在多 GPU 和 TPU 上扩展模型。