量子化（Quantization）

モデル重みの数値精度（例：4-bit）を下げてサイズを縮小し、低いハードで実行。

関連リソース

Ollama でローカル LLM をデプロイ

Ollama で大規模言語モデルをローカル実行。Llama や Mistral など多様なオープンソースモデルに対応。

LM Studio ローカルモデルクライアント

オープンソース LLM をワンクリックでローカルにダウンロード・実行できるデスクトップアプリ。GUI と OpenAI 互換 API を提供。