アテンション機構

各出力トークンに対して入力のどの部分が重要かを重み付けする仕組み。

関連リソース

Hugging Face Transformers チュートリアル

Hugging Face Transformers ライブラリを使った NLP と CV タスクを学習。

PyTorch ディープラーニングフレームワーク

動的計算グラフと使いやすさで知られる主要なオープンソースの深層学習フレームワーク。研究と本番の両方で広く採用。