アテンション機構
各出力トークンに対して入力のどの部分が重要かを重み付けする仕組み。
文中の「それ」が何を指すか解く際、アテンションはモデルを該当の名詞に集中させる。自己注意こそが Transformer の長距離文脈把握の源。
関連リソース
Hugging Face Transformers チュートリアル
NLP とコンピュータビジョンの業界標準ライブラリ Hugging Face Transformers の公式チュートリアル。テキスト分類、トークン化、翻訳、画像セグメンテーションなどをカバーし、PyTorch と TensorFlow 両バックエンドのコード例を提供。事前学習モデルを活用したり、カスタムデータセットでファインチューニングして本番利用したい実務者向け。
PyTorch ディープラーニングフレームワーク
PyTorch は Meta が開発する主要なオープンソース深層学習フレームワークで、動的計算グラフと Python らしいインターフェースで知られる。最先端の AI 研究から本番デプロイまでを支え、GPU・TPU 間でのモデルスケーリングに対応する豊富なエコシステムを備える。