🤖

ローカル環境でAIを動かす:生成AIのローカルインストールガイド

2024/10/13に公開

ローカル環境でAIを動かしてみたい

最近、ChatGPTやGoogle Geminiなどの生成AIが注目を集めています。
これらのAIは通常、企業が提供するサーバー上で動作していますが、なんとなく自分のPCで動かしてみたいと思ったことはありませんか?

高性能なPCを手に入れたものの活用方法がわからないという人におすすめです。


ちなみに、こんな感じでチャットができます

環境

私の環境を書いておきます。

OS windows 11 Home
CPU Core i7-11700F
GPU Geforce RTX 4060Ti
RAM 32GB
STR SSD 2TB
ブラウザ Chrome 1.20.0

Stable LMをインストールする

通常、AIと対話するにはコマンドラインでの操作が必要で、これが初めての人には敷居が高いですよね。
そこで、Webブラウザ上で直感的なUIで操作できるようにしたのがWeb UIです。

実際にインストールする。

Text Generation WebUIをダウンロードする

1. 下のサイトにアクセス

https://github.com/oobabooga/text-generation-webui

2. 大量にファイルがあると思いますが、画像の位置までスクロールしてください。


ついでにdownloadを押してダウンロードしてください。

3. ファイルを解凍する。

  1. text-generation-webui-main.zipというファイルがダウンロードされるので、それを右クリックします。
  2. 「全て展開」を押します。
  3. 任意のディレクトリを選択して、解凍します。

4. インストールする

先程解凍したファイルのディレクトリに行き、text-generation-webui-mainというフォルダからstart_windows.batをダブルクリックして実行します。
(Linuxの方はstart_linux.sh, MacOSの方はstart_macos.shを実行します)

以下の画面が出てくると思いますが、無視して詳細情報を押してから実行を押してください。

1. GPUを選択する

GPUを選択します。NVIDIA以外の環境の場合は、対応するオプションを選択します。

2. CUDAのバージョンを選択する

CUDAのバージョンを選択します。とりあえず、「Y」を選択します。

3. 待つ

色々とダウンロードされるので、しばらく待ちます。

4. Web UIにアクセスする

しばらく待っていると、httpから始まるローカルホストのURLが発行されるので、そこに任意のブラウザからアクセスします。

言語モデルをダウンロードする

1. Web UIのヘッダーの中のModelという部分にアクセスします。

2. 右側にDownloadと書かれた部分があるので、そこに以下の文を貼り付けてください。

Stable Diffusionを開発した、Stability AI社が公開した日本語の言語モデルです。

stabilityai/japanese-stablelm-instruct-ja_vocab-beta-7b

貼り付けたら、Downloadを押す。

3. Downloadの下にDone!と表示されたら、左上に移動します。

  1. 🔄を押す
  2. Noneと書かれた部分を押す
  3. stabilityai_japanese-stablelm-instruct-ja_vocab-beta-7bを選択する
  4. Loadを押す

stabilityai_japanese-stablelm-instruct-ja_vocab-beta-7bを選択

実際にAIと会話しよう

ヘッダーから、Chatに移動してください。

とりあえずなにか送ってみる

とりあえず、おはようございます!元気ですか?と聞いてみました

新しい会話を始める

左下のハンバーガーメニューを押したら色々出てくるので、そこからStart new chatを選択します。

終了する

コマンドプロンプトウィンドウを閉じると、終了させることができます。

他の言語モデルも試してみよう

他にもいろんな言語モデルが存在するので、いくつか紹介します。
今回紹介するものは先程の言語モデルの追加方法と同じなので、是非試してみてください。

  1. 東大発のベンチャーがLlama2をベースとして開発した、日本語能力を拡張したモデルです。

https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b

  1. LINEが開発したOSSの大規模言語モデルです。

https://huggingface.co/line-corporation/japanese-large-lm-3.6b

  1. ウマ娘などを開発している、CyberAgent社が公開した大規模言語モデルです。

https://huggingface.co/cyberagent/calm2-7b-chat

最後に

AIと聞くと難しいとか大変そうとかいう印象を受けると思います。
ただ、今回のやり方は非常に簡単だったと思います。

よければ実践してみてください!

Fulxcore Technologies

Discussion