Ollamaを使ってみた
今回はLLMをローカルで動かすためのツールであるOllamaを使ってみました。
Ollamaとは？
公式サイトは以下になっており、GitHubも提供されています。Ollamaを使うとローカルでLLMを動かせるようになるため、メモリは結構消費しますが、高速に推論させることができます。
対応モデル一覧
記事執筆時点では以下のページで公開されており、様々なモデルが提供されています。代表的なモデルは以下でしょうか。
- deepseek-r1
- gemma3
- qwen3
- llama3
Ollamaを使ってみる
インストール
最初に提示した公式サイトからアプリケーションをダウンロードできます。
また、公式Dockerイメージが提供されているので、Ollamaを搭載したサーバをデプロイすることもできそうです。
使ってみる
それではモデルを実際に使ってみましょう。Ollamaで指定したモデルを実行するには以下のフォーマットで実行します。
ollama run <model name>
例えばdeepseek-r1を実行してみます。
ollama run deepseek-r1
ローカルにモデルファイルがない場合ダウンロードが始まります。
そして入力できるようになるので、試しにあなたは誰？と実行してみます。すると、まず質問の内容についてThinkingした後に、その内容をもとに回答を生成したことが確認できました。
利用可能なコマンドについては/?で検索でき、以下のコマンドがあるようです。
-
/set：セッション変数を設定 -
/show：モデル情報の表示 -
/load <model>：セッションまたはモデルの読み込み -
/save <model>：現在のセッションの保存 -
/clear：セッションコンテキストの削除 -
/bye：終了
試しに/show infoとするとモデルの情報が表示されました。モデルのアーキテクチャはqwen3であり、パラメータが8.2Bであるとのことです。また、埋め込み長は4096次元とのことです。
Pythonライブラリを使ってみる
Ollamaはollama-pythonというPythonライブラリも提供されています。なお、OllamaをインストールしているPCで実行する必要があります。
uvを使って以下の公式GitHubのサンプルを動かしてみます。
まずは以下のようにしてPython環境を構築します。
uv init ollama_test -p 3.12 && cd ollama_test
uv add ollama
そして、以下のPythonコードを実装しました。
from ollama import chat
from ollama import ChatResponse
response: ChatResponse = chat(model='llama3.2', messages=[
{
'role': 'user',
'content': 'なぜ空はあおいのですか?',
},
])
print(response['message']['content'])
# or access fields directly from the response object
print(response.message.content)
このコードを実行すると、以下のような結果になりました。結果を見ると、なぜ空が青いのかを説明してくれていますね。
空が青くなるのは、太陽光を反射することで起こります。太陽の光は、空気中のガスと小さな粒子（ Aerosol ）によって散乱されます。
これらのガスには、水蒸気、CO2、N2、O3などが含まれます。これらのガスに当たる光は、異なる色の光を発生させます。特に、太陽の赤い部分を反射するのであれば青くなります。
この現象は、太陽と地球の間で発生します。太陽の光が地球表面に到達するとき、この光が散乱されるため、空は青く見えます。
ただし、空気中の Aerosol とガスの濃度に応じて、空の色も変化します。例えば、霧や雨などで密度が高い空気では空は灰色になり、非常に干ばたきそうになることもあります。
このため、空の色は気象や環境などの要因によって変化する可能性があります。
空が青くなるのは、太陽光を反射することで起こります。太陽の光は、空気中のガスと小さな粒子（ Aerosol ）によって散乱されます。
これらのガスには、水蒸気、CO2、N2、O3などが含まれます。これらのガスに当たる光は、異なる色の光を発生させます。特に、太陽の赤い部分を反射するのであれば青くなります。
この現象は、太陽と地球の間で発生します。太陽の光が地球表面に到達するとき、この光が散乱されるため、空は青く見えます。
ただし、空気中の Aerosol とガスの濃度に応じて、空の色も変化します。例えば、霧や雨などで密度が高い空気では空は灰色になり、非常に干ばたきそうになることもあります。
このため、空の色は気象や環境などの要因によって変化する可能性があります。
まとめ
今回はローカルでLLMを動かせるOllamaを使ってみました。様々なモデルに対応しており、ある程度スペックがあるPCであればとても高速に結果がで取得できるので、ぜひご興味があれば利用してみてください。
Discussion