量子化（Quantization）
モデル重みの数値精度（例：4-bit）を下げてサイズを縮小し、低いハードで実行。
4-bit 量子化モデルは 16-bit 版の約4分の1のサイズになり、7B〜8B モデルをノートPCで動かせる。品質低下は通常小さく許容範囲。
関連リソース
Ollama でローカル LLM をデプロイ
Llama、Mistral、Phi などのオープンソース LLM をローカルマシンにダウンロードして実行できるクロスプラットフォームツール。CLI、ローカル API サーバー、OpenAI 互換エンドポイントを提供し、GPU やクラウドアカウントなしでモデルをプライベートに試せる。オフライン AI 機能が必要な開発者や、本番デプロイ前にプロンプトをテストしたい人に最適。
LM Studio ローカルモデルクライアント
LM Studio はワンクリックでオープンソース LLM をローカルにダウンロード・実行できるデスクトップアプリ。チャット用 GUI、OpenAI 互換のローカル API サーバー、GGUF/GGML 形式に対応し、コマンドラインや GPU の専門知識は不要。
llama.cpp
llama.cpp は CPU と一般向け GPU でオープン LLM を効率的に動かす軽量 C/C++ 推論エンジンで、Ollama や LM Studio など多くのローカル AI ツールの土台となっている。GGUF 量子化フォーマットにより、専用アクセラレータなしの控えめなハードウェアでも大規模モデルを動かせる。