🤖

Open WebUI + Gemma 2 (27B)をMacで動かしてみた

2024/06/28に公開

この記事では、ニュースが出てきたので、速攻でGemma 2の270億パラメータ版をインストールします。

この記事は、前に書いた記事「Open WebUI + Llama3 (8B)をMacで動かしてみた」の追加編です。
先に前編をお読み下さい。

追記

2024/06/28 13:58: Ollamaを最新版にアップデートしないと、Gemma 2は動かないようです。

環境

蒸し暑い気温 (???)
Mac mini (M2 Pro, 10コアCPU, 32GBメモリ)
内蔵ディスクから起動

用語

Open WebUIとは

Llama3やGemma 2などを簡単に動かせるようにした「Ollama」を、
画面で操作できるようにするソフトです。

インストール方法は前編をお読み下さい。

なんと前回よりも賢い、いろんな機能が追加されていました！

Gemma 2とは

Googleが発表して、なんとオープンソースで公開されているAIです。
90億パラメータ版と270億パラメータ版があります。
本記事の「:27b」と書いてあるところを消すと、90億パラメータ版に対応させられます。

結論 (先取り)

異次元。

使う

準備する

前編を読み、AIのモデルをダウンロードする (モデルごとに初回のみ)の前まで進めて下さい。

AIのモデルをダウンロードする (モデルごとに初回のみ)

Admin Panel

メニューからAdmin Panelを開きます。

Settings/Models

Settingsにアクセスし...

Modelsを開きます。

モデル名を入力

赤線のところにgemma2:27bと入力します！

いざ会話！

会話してみます！

...え？
日本語できてるぅー！

では質問「Rustを使ってフィボナッチ数列を各コードを書いて下さい。」
無理でしょうね。

(...まだあります)

...えーーーー！
(270億パラメータだと遅いけれど、しっかりしてる)

感想

ローカルで動くものではないと思う。

結論