llama-cpp-pythonをMacで動かしているときにやたら遅いと思ったら

llama-cpp-python 使ってる？
https://github.com/abetlen/llama-cpp-python

macOS (Metal) で動く。すごい。
https://llama-cpp-python.readthedocs.io/en/latest/install/macos/

ただ、環境変えたら何故か動かなくなった。。。

調べたら、どうもバグっぽい。バージョンを低くしたら動いた。Activity Monitor 見たら 期待通り GPU も使ってくれてそう。

pip uninstall llama-cpp-python
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python==0.2.27

https://github.com/abetlen/llama-cpp-python/issues/756

結構なレアケースな気がするけど、真面目に調べたら解決できた。よかったよかった。