🦙
Llama_packsをサクッと試す(Mac)
概要
LlamaIndexから「Llama Packs」という新機能が出たので、サクッと試します。
より詳しい内容を知りたい方は、以下のLlama Packsの紹介ブログをお読みください。
claude.aiによる要約
この記事は、LlamaIndexが公開した「Llama Packs」について解説しています。
要約すると以下の通りです。
Llama Packsは、大規模言語モデル(LLM)を使ったアプリケーション構築を支援するためのパッケージ
Streamlitアプリのテンプレートや、検索エンジンの構築コードなどをパッケージ化
1行のコードでダウンロード&インポートできるため、使いたい場面に応じて選択可能
Voyage AIの検索エンジンパックを例に解説。カスタマイズ可能なことが特徴
今後も継続的に新しいLlama Packsを公開予定
つまり、LlamaIndexがLlamaモデルを使ったアプリケーション開発を支援するために、
便利な機能・コード群をパッケージ化し、公開したという内容です。
記事ではその概要と使用例が紹介されています。
実践
今回試すのは以下のLLaVA Completion Pack。
これを使えば、入力した画像についての説明などが得られます。
claude.aiによる要約
このLlamaPackは、LLaVAというマルチモーダル言語モデルを作成し、クエリを実行するためのものです。
要約すると:
LLaVAモデルを初期化してクエリを実行できるパッケージ
画像のURLとテキストのクエリを入力することで、画像とテキストを関連付けた回答が得られる
llamaindex-cliコマンドやPython APIでダウンロード・インポート可能
run()メソッドで簡単にクエリ実行ができるが、内部の呼び出し方法はカスタマイズ可能
つまり、画像とテキストのマルチモーダルなクエリに対応したLlamaPackだと理解できます。
コード例も示されているので、すぐに試用できそうです。
ほとんど上記URLに書いてあるコードを実行するだけでいけます。
進めます。
手順1
llamaindex使うので入れます。
cli
$ pip install llamaindex
手順2
LlaVAを使うには、replicateのAPI tokenが必要なので、以下URLからアカウントを作ってAPI tokenを取得します。
API tokenが作成できれば、以下のように表示されます。
取得したAPI tokenをbash_profileに追記します。
bash_profile
export REPLICATE_API_TOKEN=自分のAPI
bash_profileの変更内容を適用するため、以下を実行
CLI
$ source ~/.bash_profile
手順3
pythonファイルを作成して、以下のコードを記述。
llava.py
from llama_index.llama_pack import download_llama_pack
# 必要なファイルを/llava_pack配下にダウンロード
LlavaCompletionPack = download_llama_pack(
"LlavaCompletionPack", "./llava_pack"
)
# create the pack
# image_urlに対象画像のパスを指定
llava_pack = LlavaCompletionPack(
image_url="./images/test.jpg"
)
# 対象画像に関する質問をする
response = llava_pack.run("Who is him?")
print(response)
手順4
作成したpythonファイルを実行。
CLI
$ python llava.py
今回はいらすとやの画像について、「What is he doing? Prease ask in Japanese.」と尋ねました。
結果は、以下でした。
この男性は、日本の武士のような格好で、二本の大きな刀を手に持持っています。（原文ママ）
だいたいあっている気がします。
まとめ
少ないコードで、LLMの機能をお試しできるのが良いです。
Llama Hubに、他にもたくさんのLlama Packがあるのでよろしければお試しください。
以上
Discussion