近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。

本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。

その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードになることが期待されています。

本書を通じて、これまでLLMに縁のなかったソフトウェアエンジニアの方々が、LLMの奥深い世界に触れるきっかけとなれば幸いです。

Ollamaで体験する国産LLM入門

§1　LLMを動かすための最低限の基礎知識

§1.1　LLMにまつわるツール群: Hugging Face, llama.cpp, Ollama

§1.2　指示チューニングとチャットテンプレート

§1.3　量子化

§1.4　推論パラメータ

§1.5　LLMの選び方: パラメータ数と性能から考える

§2　Ollamaの導入

§2.1　Ollamaで Llama 3.1 Swallow 8B を動かす

§2.2　Ollamaで Sarashina-2.1 1B の非公式チューニング版を動かす

§2.3　Ollamaで Llama 3 ELYZA JP 8B を動かす

§2.4　Ollamaで LLM-jp-3 3.7B を動かす

§2.5　Ollamaで Gemma 2 Baku 2B を動かす

§2.6　Ollamaで Google の日本語版 Gemma 2 2B を動かす

§2.7　Ollamaで Tanuki 8B を動かす

読者コミュニティ｜Ollamaで体験する国産LLM入門

ollama

Kaito Sugimoto