Zenn
🙆

大喜利特化LLM「watashiha-gpt-6b」を触ってみる...

2024/08/14に公開
tech

概要

大喜利特化LLM「watashiha-gpt-6b」をOllamaで動かしてみる

./watashiha
├─Modelfile
└─watashiha-gpt-6b-q4_K_M.gguf

手順

1. Modelfileを作成

  • PARAMETERは、使用方法のパラメータを流用する
  • PARAMETERのstopは、終了シーケンス<EOD>を指定する
  • TEMPLATEは、使用方法を参考にする
./watashiha/Modelfile
FROM ./watashiha-gpt-6b-q4_K_M.gguf

PARAMETER num_predict 32
PARAMETER top_p 0.9
PARAMETER top_k 50
PARAMETER stop "<EOD>"

TEMPLATE """お題:{{ .Prompt }}<SEP> 回答:{{ .Response }}<EOD>"""

2. HuggingFaceからGGUFファイルをダウンロード

wget -P . https://huggingface.co/mmnga/watashiha-gpt-6b-gguf/resolve/main/watashiha-gpt-6b-q4_K_M.gguf

3. ollamaでwatashihaモデルを作成

ollama create watashiha:6b -f ./Modelfile

4. watashihaを起動する

ollama run watashiha:6b

まとめ

お題は大喜利総合サイトから...

ollama run watashiha:6b

>>> こんなサウナは嫌だ、どんなサウナ？
お化け屋敷

😂

GitHubで編集を提案

Discussion