Transformer
現代の LLM を支えるニューラルネットワークアーキテクチャ。自己注意で全トークンを並列処理する。
2017年の論文「Attention Is All You Need」で提案され、リカレントネットワークに取って代わり大規模学習を可能にした。今日の著名な LLM はほぼすべて Transformer の派生。
関連リソース
Hugging Face Transformers チュートリアル
NLP とコンピュータビジョンの業界標準ライブラリ Hugging Face Transformers の公式チュートリアル。テキスト分類、トークン化、翻訳、画像セグメンテーションなどをカバーし、PyTorch と TensorFlow 両バックエンドのコード例を提供。事前学習モデルを活用したり、カスタムデータセットでファインチューニングして本番利用したい実務者向け。
PyTorch ディープラーニングフレームワーク
PyTorch は Meta が開発する主要なオープンソース深層学習フレームワークで、動的計算グラフと Python らしいインターフェースで知られる。最先端の AI 研究から本番デプロイまでを支え、GPU・TPU 間でのモデルスケーリングに対応する豊富なエコシステムを備える。