分词器（Tokenizer）

将原始文本拆分为模型可处理的词元、并能反向还原的组件。

大多数现代分词器采用 BPE 等子词方案，因此生僻词可能被拆成多个 token，而常见词保持完整。这也是相同含义在不同语言下 token 数不同的原因。

相关资源

Hugging Face Transformers 教程

Hugging Face Transformers 官方教程——NLP 与计算机视觉领域的行业标准库。涵盖文本分类、分词、翻译、图像分割等任务，提供 PyTorch 和 TensorFlow 双后端代码示例。适合希望利用预训练模型或在自定义数据集上微调以投入生产使用的从业者。

OpenAI API 完全指南

一份面向 OpenAI API 生态的系统性入门指南，深入覆盖 GPT、DALL·E、Whisper 三大模型系列。从账号注册、密钥管理到首次 API 调用、提示词设计模式和成本优化策略均有详细讲解，适合初次接触 OpenAI 平台的开发者按图索骥。