🙆
大喜利特化LLM「watashiha-gpt-6b」を触ってみる...
概要
大喜利特化LLM「watashiha-gpt-6b」をOllamaで動かしてみる
./watashiha
├─Modelfile
└─watashiha-gpt-6b-q4_K_M.gguf
手順
1. Modelfileを作成
./watashiha/Modelfile
FROM ./watashiha-gpt-6b-q4_K_M.gguf
PARAMETER num_predict 32
PARAMETER top_p 0.9
PARAMETER top_k 50
PARAMETER stop "<EOD>"
TEMPLATE """お題:{{ .Prompt }}<SEP> 回答:{{ .Response }}<EOD>"""
2. HuggingFaceからGGUFファイルをダウンロード
- GGUF形式で提供している、mmnga/watashiha-gpt-6b-ggufを使わせていただく
wget -P . https://huggingface.co/mmnga/watashiha-gpt-6b-gguf/resolve/main/watashiha-gpt-6b-q4_K_M.gguf
watashiha
モデルを作成
3. ollamaでollama create watashiha:6b -f ./Modelfile
watashiha
を起動する
4. ollama run watashiha:6b
まとめ
お題は大喜利総合サイトから...
ollama run watashiha:6b
>>> こんなサウナは嫌だ、どんなサウナ?
お化け屋敷
😂
Discussion