GGUF

量子化モデルを保存するファイル形式。llama.cpp や Ollama でのローカル実行に広く使われる。

関連リソース

Ollama でローカル LLM をデプロイ

Ollama で大規模言語モデルをローカル実行。Llama や Mistral など多様なオープンソースモデルに対応。

LM Studio ローカルモデルクライアント

オープンソース LLM をワンクリックでローカルにダウンロード・実行できるデスクトップアプリ。GUI と OpenAI 互換 API を提供。