Google Colabでllama-cpp-python

はじめに

Google Colab で llama-cpp-python 使うときに、ハマったことメモ

https://github.com/abetlen/llama-cpp-python

pip install

pip installするとき、GPU を使えるように、ここらの環境変数を設定して実行する

!CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

UnsupportedOperation: fileno

UnsupportedOperation: filenoのエラーが出たら、verbose=Trueを設定する。
Python が stdout や stderr のファイルディスクリプタにアクセスしようとしたときに、その操作がサポートされていない場合に発生するらしい。
例えばこんな感じ。

        chat_handler = Llava15ChatHandler(clip_model_path=clip_model_path, verbose=True)
        self.llm = Llama(
            model_path = model_path,
            chat_format = "llava-1-5",
            chat_handler = chat_handler,
            n_ctx = 2048,
            n_gpu_layers = 1,
            logits_all = True,
            verbose = True
        )

参考

https://github.com/ggerganov/llama.cpp/issues/128
https://github.com/abetlen/llama-cpp-python/issues/729
https://github.com/guidance-ai/guidance/issues/545