自分のマシンで LLM を動かす最良のツール

これらのツールで、オープンウェイトモデルをローカルにダウンロードして実行。データは完全非公開で、シンプルな CLI から洗練されたチャット UI まで対応。

おすすめツール

Ollama で大規模言語モデルをローカル実行。Llama や Mistral など多様なオープンソースモデルに対応。

オープンソース LLM をワンクリックでローカルにダウンロード・実行できるデスクトップアプリ。GUI と OpenAI 互換 API を提供。

機能豊富なセルフホスト型 AI チャットインターフェース。Ollama と OpenAI 互換 API に対応し、完全オフライン動作も可能。

LLM 向けの高音スループット推論・提供フレームワーク。PagedAttention でデプロイ効率を大幅に向上。