Transformer

現代の LLM を支えるニューラルネットワークアーキテクチャ。自己注意で全トークンを並列処理する。

関連リソース

Hugging Face Transformers チュートリアル

Hugging Face Transformers ライブラリを使った NLP と CV タスクを学習。

PyTorch ディープラーニングフレームワーク

動的計算グラフと使いやすさで知られる主要なオープンソースの深層学習フレームワーク。研究と本番の両方で広く採用。