Zenn
🦙

[実践的Ollama #2] Ollamaでローカルのllama3.2を動かしてみよう！

2024/11/12に公開
LLM
Ollama
Llama 3
tech

はじめに

前回の記事

https://zenn.dev/zawawahoge/articles/ollama-introduction

前回の記事でOllamaの基本概念について解説しました。今回は実際にOllamaを使ってLLamaモデルを動かしてみましょう。ローカルLLMが思ったより簡単に動かせることを体験できると思います。

環境確認

まずは環境を確認しておきましょう。今回使用するOllamaのバージョンは以下です。

$ ollama --version
ollama version is 0.4.1

ollama コマンドの基本

Ollamaのコマンドは、dockerライクな使い方ができます。主なコマンドを見てみましょう。

$ ollama help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

特に重要なのは以下のコマンドです：

  • run: モデルの実行（なければpullも自動で行う）
  • pull: モデルのダウンロード
  • list: ダウンロード済みモデルの一覧表示
  • rm: モデルの削除

LLamaモデルを動かしてみよう

まずは簡単な実行

ollama run コマンドを使って、llama3.2実行してみましょう。モデルがローカルにない場合は自動的にダウンロードが始まります。

$ ollama run llama3.2
pulling manifest
pulling dde5aa3fc5ff... 100% ▕█████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕███████████████████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████▏   96 B
pulling 34bb5ab01051... 100% ▕████████████████████████████████████████████████████▏  561 B
verifying sha256 digest
writing manifest
success

日本語での対話を試してみる

ダウンロードが完了したら、日本語で話しかけてみましょう。

>>> こんにちは！！
こんにちは！！また会うまでに待ってくださいね！何が考えていますか？

残念ながら、返答の自然さはまだまだという感じです。これは、LLamaシリーズが英語のデータセットで主に訓練されているためです。

英語での対話を試してみる

それでは、得意な英語で話しかけてみましょう。富士山について質問してみます。

>>> Could you tell me about Mount Fuji?
Mount Fuji is an iconic and culturally significant stratovolcano located on the main island of Honshu in Japan. It's one of Japan's most famous landmarks and a symbol of the country.

Here are some interesting facts about Mount Fuji:

1. **Height and Location**: Mount Fuji stands at 3,776 meters (12,388 feet) above sea level, making it one of the highest mountains in Japan.

2. **Formation**: Mount Fuji is estimated to have formed around 200,000 years ago during a period of volcanic activity.

3. **Cultural Significance**: Mount Fuji has been an important cultural symbol for centuries. It's featured in many works of art, literature, and music.

4. **UNESCO World Heritage Site**: In 2013, Mount Fuji was designated a UNESCO World Heritage Site.

[...以下続く...]

英語での返答は非常に自然で、正確な情報を提供してくれています。富士山のUNESCO世界文化遺産登録（2013年）といった具体的な事実も含まれています。

メモリ使用

ローカルLLMを起動するともちろんですが、ローカルPCのCPUやメモリ、LLMによってはGPUも使用することになります。
ollama run で起動すると、入出力が終わるまでメモリを使用し、出力ストリームが全て終わると、メモリが解放されるようになっています。

ローカルPCメモリ解放

パフォーマンスと使用感

実際に使ってみての感想をまとめてみましょう：

良かった点

  • セットアップが非常に簡単
  • コマンドラインからの操作が直感的
  • ローカルで動くため、レイテンシーが低い

課題点

  • モデルのダウンロードに時間とストレージ容量が必要
  • メモリ使用量に注意が必要

まとめ

Ollamaを使うことで、ローカルLLMの実行が驚くほど簡単になります。
特に、

  1. ollama run 一発で、モデルのダウンロードから実行まで完了
  2. 直感的なコマンドライン操作

が魅力的です。

次回は、OllamaのREST APIインターフェースについて解説する予定です。アプリケーションからOllamaを利用する方法をご紹介します！

この記事が参考になったと思っていただけたら、いいねしていただけると嬉しいです！

Xもよろしく

https://x.com/zawawahoge

Discussion