Open1
ローカルで動かせるLLMを触る
nazohttps://note.com/npaka/n/n0ad63134fbe2 を参考にしてllama.cppを触ってみる
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
mv ~/Downloads/llama-2-7b-chat.ggmlv3.q4_K_M.bin ./models
./main -m ./models/llama-2-7b-chat.ggmlv3.q4_K_M.bin --temp 0.1 -p "### Instruction: What is the height of Mount Fuji?
### Response:"
動かない
どうやら現在は .bin ではなく .gguf らしい。これが何なのかは後日調べる。
https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF からダウンロードできるのでこちらを使う。
mv ~/Downloads/llama-2-7b-chat.Q4_K_M.gguf ./models
./main -m ./models/llama-2-7b-chat.Q4_K_M.gguf --temp 0.1 -p "### Instruction: What is the height of Mount Fuji?
### Response:"
動いた