混合エキスパート（MoE）

各トークンを少数の専門サブネットワークに振り分け、コストを抑えつつ容量を向上させるアーキテクチャ。

MoE モデルは数千億パラメータを持ちつつトークンごとに一部だけを活性化するため、同規模の密なモデルより高速。Mixtral など複数のフロンティアモデルが採用。