Ollamaで体験する国産LLM入門
無料で読める本
近年、AIの中でも大規模言語モデル(LLM)の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす(推論する)だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア(OSS)でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードになることが期待されています。 本書を通じて、これまでLLMに縁のなかったソフトウェアエンジニアの方々が、LLMの奥深い世界に触れるきっかけとなれば幸いです。
Chapters
§1 LLMを動かすための最低限の基礎知識
§1.1 LLMにまつわるツール群: Hugging Face, llama.cpp, Ollama
§1.2 指示チューニングとチャットテンプレート
§1.3 量子化
§1.4 推論パラメータ
§1.5 LLMの選び方: パラメータ数と性能から考える
§2 Ollamaの導入
§2.1 Ollamaで Llama 3 ELYZA JP 8B を動かす
§2.2 Ollamaで Llama 3.1 Swallow 8B を動かす
§2.3 Ollamaで LLM-jp-3 3.7B を動かす
§2.4 Ollamaで Gemma 2 Baku 2B を動かす
§2.5 Ollamaで Google の日本語版 Gemma 2 2B を動かす
§2.6 Ollamaで Tanuki 8B を動かす
Community
Author
Topics