近年、AI 分野の中でも特に大規模言語モデル（LLM）の研究開発が急速に進展しています。日本国内においても、日本語に特化した「国産 LLM」の開発競争が激化しています。さらに、比較的小規模なパラメータ数でありながら高い性能を持つモデルが次々と登場し、特別な GPU 環境がない手元の PC でも、LLM を手軽に動かせる時代が到来しつつあります。

本書では、まず LLM を「動かす」こと、すなわち推論（Inference） に焦点を当て、そのために必要な基本的な知識を分かりやすく解説します。LLM の学習やファインチューニングには膨大な知識や計算資源が必要ですが、単に既存のモデルを動かすだけであれば、いくつかの重要なポイントを押さえることで、どなたでも比較的容易に始めることができます。

その上で、近年注目を集めている LLM 推論フレームワーク Ollama を活用し、実際にいくつかの代表的な国産 LLM をローカル環境で動かす手順を具体的に紹介します。Ollama は、個人の PC で簡単に利用できるオープンソースソフトウェア（OSS）でありながら、クラウド連携などの機能拡張も活発に進められており、将来的に LLM 推論フレームワークのデファクトスタンダードとなる可能性も秘めているツールです。

本書を通じて、これまで「LLM は難しそう」「専門家でないと扱えない」と感じていたソフトウェアエンジニアの方々をはじめ、多くの方が LLM の持つ可能性やその奥深い世界に触れる最初の一歩を踏み出すきっかけとなれば幸いです。

Ollamaで体験する国産LLM入門

§1　LLMを動かすための最低限の基礎知識

§1.1　LLMにまつわるツール群: Hugging Face, llama.cpp, Ollama

§1.2　指示チューニングとチャットテンプレート

§1.3　量子化

§1.4　推論パラメータ

§1.5　Mixture-of-Experts (MoE)

§1.6　Reasoning モデル（思考モデル）

§1.7　LLMの選び方: パラメータ数と性能から考える

§2　Ollamaの導入

§2.1　Ollamaで Sarashina-2.2 3B を動かす

§2.2　Ollamaで LLM-jp-3.1 1.8B を動かす

§2.3　Ollamaで ELYZA-Shortcut-1.0-Qwen 7B を動かす

§2.4　Ollamaで ABEJA Qwen2.5 7B を動かす

§2.5　Ollamaで TinySwallow 1.5B を動かす

§2.6　Ollamaで RakutenAI-2.0-mini 1.5B を動かす

§2.7　Ollamaで Llama 3.1 Swallow 8B を動かす

§2.8　Ollamaで Gemma-2-Llama Swallow 9B を動かす

§2.9　Ollamaで Gemma 2 Baku 2B を動かす

§2.10　Ollamaで Google の日本語版 Gemma 2 2B を動かす

§2.11　Ollamaで Tanuki 8B を動かす

読者コミュニティ｜Ollamaで体験する国産LLM入門

ollama

Kaito Sugimoto