オープンソース LLM スタック
オープンウェイトモデルで実行・構築：ローカルランタイム、推論サーバー、アプリフレームワーク。
Ollama でローカル LLM をデプロイ
Llama、Mistral、Phi などのオープンソース LLM をローカルマシンにダウンロードして実行できるクロスプラットフォームツール。CLI、ローカル API サーバー、OpenAI 互換エンドポイントを提供し、GPU やクラウドアカウントなしでモデルをプライベートに試せる。オフライン AI 機能が必要な開発者や、本番デプロイ前にプロンプトをテストしたい人に最適。
vLLM 高性能推論フレームワーク
vLLM は大規模言語モデル向けの高通率推論・サービングエンジンで、PagedAttention によりメモリ効率とスループットを劇的に向上させる。連続バッチング、テンソル並列、OpenAI 互換 API サービングに対応し、大規模 LLM デプロイの第一選択となっている。
Open WebUI
Open WebUI は機能豊富なセルフホスト型 AI チャット UI で、Ollama と OpenAI 互換 API をすぐにサポートする。完全オフライン動作し、洗練されたマルチモデル会話体験、ロール管理、Markdown サポート、プラグイン拡張機能を備え、チームや個人に最適。
LM Studio ローカルモデルクライアント
LM Studio はワンクリックでオープンソース LLM をローカルにダウンロード・実行できるデスクトップアプリ。チャット用 GUI、OpenAI 互換のローカル API サーバー、GGUF/GGML 形式に対応し、コマンドラインや GPU の専門知識は不要。
Dify LLM アプリ開発プラットフォーム
Dify はビジュアルワークフロー編成、組み込み RAG エンジン、Agent 機能を備えたオープンソースの LLM アプリ開発プラットフォーム。開発者もノンテクニカルユーザーも、複数モデルプロバイダーに対応し、シームレスな API 統合で AI アプリを素早く構築・テスト・デプロイできる。
PyTorch ディープラーニングフレームワーク
PyTorch は Meta が開発する主要なオープンソース深層学習フレームワークで、動的計算グラフと Python らしいインターフェースで知られる。最先端の AI 研究から本番デプロイまでを支え、GPU・TPU 間でのモデルスケーリングに対応する豊富なエコシステムを備える。
Hugging Face Transformers チュートリアル
NLP とコンピュータビジョンの業界標準ライブラリ Hugging Face Transformers の公式チュートリアル。テキスト分類、トークン化、翻訳、画像セグメンテーションなどをカバーし、PyTorch と TensorFlow 両バックエンドのコード例を提供。事前学習モデルを活用したり、カスタムデータセットでファインチューニングして本番利用したい実務者向け。
Meta Llama
Llama は Meta のオープンウェイト言語モデルファミリーで、オープンソース AI エコシステムの中核を担い、ローカルでも任意のクラウドでも展開できる。軽量からフロンティア級まで複数サイズを揃え、無数のファインチューニング派生モデルを生み出し、組織が AI スタックを完全にコントロールすることを可能にする。
llama.cpp
llama.cpp は CPU と一般向け GPU でオープン LLM を効率的に動かす軽量 C/C++ 推論エンジンで、Ollama や LM Studio など多くのローカル AI ツールの土台となっている。GGUF 量子化フォーマットにより、専用アクセラレータなしの控えめなハードウェアでも大規模モデルを動かせる。