GGUF
量子化モデルを保存するファイル形式。llama.cpp や Ollama でのローカル実行に広く使われる。
1つの .gguf ファイルに重みとメタデータをまとめ、ファイル名で量子化レベル（例：Q4_K_M）を示すのが一般的。ビット数が高いほど正確だが大きく遅い。
関連リソース
Ollama でローカル LLM をデプロイ
Llama、Mistral、Phi などのオープンソース LLM をローカルマシンにダウンロードして実行できるクロスプラットフォームツール。CLI、ローカル API サーバー、OpenAI 互換エンドポイントを提供し、GPU やクラウドアカウントなしでモデルをプライベートに試せる。オフライン AI 機能が必要な開発者や、本番デプロイ前にプロンプトをテストしたい人に最適。
LM Studio ローカルモデルクライアント
LM Studio はワンクリックでオープンソース LLM をローカルにダウンロード・実行できるデスクトップアプリ。チャット用 GUI、OpenAI 互換のローカル API サーバー、GGUF/GGML 形式に対応し、コマンドラインや GPU の専門知識は不要。
llama.cpp
llama.cpp は CPU と一般向け GPU でオープン LLM を効率的に動かす軽量 C/C++ 推論エンジンで、Ollama や LM Studio など多くのローカル AI ツールの土台となっている。GGUF 量子化フォーマットにより、専用アクセラレータなしの控えめなハードウェアでも大規模モデルを動かせる。