トークナイザー

生テキストをモデルが処理できるトークンに分割し、逆変換も行うコンポーネント。

関連リソース

Hugging Face Transformers チュートリアル

Hugging Face Transformers ライブラリを使った NLP と CV タスクを学習。

OpenAI API 完全ガイド

OpenAI API の使い方を基礎から学習。GPT-4、DALL·E、Whisper などのモデル呼び出しとベストプラクティスを含む。