コンテンツへスキップ

混合エキスパート(MoE)

各トークンを少数の専門サブネットワークに振り分け、コストを抑えつつ容量を向上させるアーキテクチャ。

関連リソース