<h2 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h2>
<iframe id="zenn-embedded__558e740736aa4" src="https://embed.zenn.studio/card#zenn-embedded__558e740736aa4" data-content="https%3A%2F%2Fzenn.dev%2Fkun432%2Fscraps%2F1a9d701a28ecf4" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://zenn.dev/kun432/scraps/1a9d701a28ecf4" style="display:none" target="_blank">https://zenn.dev/kun432/scraps/1a9d701a28ecf4</a>
ここで紹介されているCLIツールの<code>LLM</code>がシンプルで便利そうなので、AWSでも使ってみる。 
結論だけいうと、”こういうのでいいんだよ”感がある、丁度いいツールだった。
<h2 id="%E6%A6%82%E8%A6%81" data-line="7" class="code-line">
<a class="header-anchor-link" href="#%E6%A6%82%E8%A6%81" aria-hidden="true"></a> 概要</h2>
ツールの公式ドキュメントはこちら。一言でいうとCLIでLLM APIを叩くラッパー。
<iframe id="zenn-embedded__f114e056f65bf" src="https://embed.zenn.studio/card#zenn-embedded__f114e056f65bf" data-content="https%3A%2F%2Fllm.datasette.io%2Fen%2Fstable%2F" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://llm.datasette.io/en/stable/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://llm.datasette.io/en/stable/</a>
<h2 id="install" data-line="13" class="code-line">
<a class="header-anchor-link" href="#install" aria-hidden="true"></a> Install</h2>
以下、オレゴンリージョンのAWS CloudShellでの操作を前提とする。
<h3 id="command" data-line="17" class="code-line">
<a class="header-anchor-link" href="#command" aria-hidden="true"></a> Command</h3>
ツールはpipでインストールできる。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="21">pip install llm
</code></pre></div>modelsコマンドで、使えるモデルがわかる。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="27">llm models
OpenAI Chat: gpt-3.5-turbo (aliases: 3.5, chatgpt)
OpenAI Chat: gpt-3.5-turbo-16k (aliases: chatgpt-16k, 3.5-16k)
OpenAI Chat: gpt-4 (aliases: 4, gpt4)
OpenAI Chat: gpt-4-32k (aliases: 4-32k)
OpenAI Chat: gpt-4-1106-preview
OpenAI Chat: gpt-4-0125-preview
OpenAI Chat: gpt-4-turbo-2024-04-09
OpenAI Chat: gpt-4-turbo (aliases: gpt-4-turbo-preview, 4-turbo, 4t)
OpenAI Chat: gpt-4o (aliases: 4o)
OpenAI Chat: gpt-4o-mini (aliases: 4o-mini)
OpenAI Chat: o1-preview
OpenAI Chat: o1-mini
OpenAI Completion: gpt-3.5-turbo-instruct (aliases: 3.5-instruct, chatgpt-instruct)
</code></pre></div><h3 id="plugin" data-line="44" class="code-line">
<a class="header-anchor-link" href="#plugin" aria-hidden="true"></a> Plugin</h3>
前述の通り、デフォルトで使えるモデルはOpen AIだけなので、Plugin設定が必要とのこと。
<iframe id="zenn-embedded__c029aac966d9d" src="https://embed.zenn.studio/card#zenn-embedded__c029aac966d9d" data-content="https%3A%2F%2Fllm.datasette.io%2Fen%2Fstable%2Fplugins%2Fdirectory.html%23plugin-directory" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://llm.datasette.io/en/stable/plugins/directory.html#plugin-directory" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://llm.datasette.io/en/stable/plugins/directory.html#plugin-directory</a>
このページを見るとAWS Bedrock用に以下のプラグインがある。
<ul data-line="52" class="code-line">
<li data-line="52" class="code-line">llm-bedrock-anthropic</li>
<li data-line="53" class="code-line">llm-bedrock-meta</li>
</ul>
今回は前者を使ってみよう。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="57">llm install llm-bedrock-anthropic
</code></pre></div>無事に使えるAntropicのモデルが増えたことがわかる。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="63">llm models
OpenAI Chat: gpt-3.5-turbo (aliases: 3.5, chatgpt)
OpenAI Chat: gpt-3.5-turbo-16k (aliases: chatgpt-16k, 3.5-16k)
OpenAI Chat: gpt-4 (aliases: 4, gpt4)
OpenAI Chat: gpt-4-32k (aliases: 4-32k)
OpenAI Chat: gpt-4-1106-preview
OpenAI Chat: gpt-4-0125-preview
OpenAI Chat: gpt-4-turbo-2024-04-09
OpenAI Chat: gpt-4-turbo (aliases: gpt-4-turbo-preview, 4-turbo, 4t)
OpenAI Chat: gpt-4o (aliases: 4o)
OpenAI Chat: gpt-4o-mini (aliases: 4o-mini)
OpenAI Chat: o1-preview
OpenAI Chat: o1-mini
OpenAI Completion: gpt-3.5-turbo-instruct (aliases: 3.5-instruct, chatgpt-instruct)
BedrockClaude: anthropic.claude-instant-v1 (aliases: bedrock-claude-instant, bci)
BedrockClaude: anthropic.claude-v2 (aliases: bedrock-claude-v2-0)
BedrockClaude: anthropic.claude-v2:1 (aliases: bedrock-claude-v2.1, bedrock-claude-v2)
BedrockClaude: anthropic.claude-3-sonnet-20240229-v1:0 (aliases: bedrock-claude-v3-sonnet, bedrock-claude-v3-sonnet, bedrock-claude-sonnet, bedrock-sonnet, bedrock-claude, bc)
BedrockClaude: anthropic.claude-3-5-sonnet-20240620-v1:0 (aliases: bedrock-claude-v3.5-sonnet)
BedrockClaude: anthropic.claude-3-opus-20240229-v1:0 (aliases: bedrock-claude-v3-opus, bedrock-claude-v3-opus, bedrock-claude-opus, bedrock-opus, bo)
BedrockClaude: anthropic.claude-3-haiku-20240307-v1:0 (aliases: bedrock-claude-v3-haiku, bedrock-claude-haiku, bedrock-haiku, bh)
</code></pre></div><h2 id="usage" data-line="87" class="code-line">
<a class="header-anchor-link" href="#usage" aria-hidden="true"></a> Usage</h2>
それでは使ってみましょう。
<h3 id="invoke" data-line="91" class="code-line">
<a class="header-anchor-link" href="#invoke" aria-hidden="true"></a> Invoke</h3>
-m でモデルを指定して、簡単にBedrockに会話を投げることができる！
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="95">llm -m bedrock-claude-v3.5-sonnet "Hazy IPAについて簡潔に解説して"
Hazy IPA（ヘイジーIPA）は、比較的新しいビールのスタイルで、以下の特徴があります：

1. 外観：濁った、不透明な見た目（ヘイジー）

2. 香り：フルーティーでトロピカルな香り

3. 味わい：ジューシーで柔らかい口当たり、低い苦味

4. アルコール度数：一般的に6-8%

5. ホップ：大量のホップを使用するが、後添えが多い

6. 製法：特殊な酵母や穀物の使用、ろ過を最小限に

7. 別名：New England IPA (NEIPA)やJuicy IPA

8. 人気：クラフトビールシーンで近年急速に人気上昇

Hazy IPAは従来のIPAとは異なり、より柔らかく飲みやすい味わいが特徴で、ビール初心者にも親しみやすいスタイルです。
</code></pre></div>普通にAWS CLIでやるならこうなるので、楽ですね。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="120">aws bedrock-runtime invoke-model \
 --model-id "[modelId]" \
 --content-type "[contentType]" \
 --body "[body]" [Output FileName]
</code></pre></div><h3 id="%E2%80%9Dllm%E2%80%9D-%2B-curl" data-line="127" class="code-line">
<a class="header-anchor-link" href="#%E2%80%9Dllm%E2%80%9D-%2B-curl" aria-hidden="true"></a> ”LLM” + Curl</h3>
変数展開が効くので、curlの結果をそのまま乱暴にプロンプトに突っ込むこともできる。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="131">llm -m bedrock-claude-v3.5-sonnet "このサイトの内容を簡潔に要約して。$(curl -s https://llm.datasette.io/en/stable/usage.html)"
このサイトは、LLMというツールの使用方法について説明しています。主な内容は以下の通りです:

1. プロンプトの実行方法
- 基本的な使い方
- システムプロンプトの設定
- 会話の継続
- 添付ファイルの使用

2. インタラクティブなチャットの開始方法

3. 利用可能なモデルの一覧表示

4. モデルのオプション設定

5. Bash/Zshでの使用Tips

6. 補完モデルの使用

LLMは、OpenAIのGPTモデルなど様々な言語モデルを利用できるコマンドラインツールです。プロンプトを送信したり、対話形式でAIとチャットしたりすることができます。また、システムプロンプトやモデ ルのパラメータを細かく設定することも可能です。

このドキュメントは、LLMの基本的な使い方から高度な機能まで網羅的に説明しています。
</code></pre></div><h3 id="chat" data-line="156" class="code-line">
<a class="header-anchor-link" href="#chat" aria-hidden="true"></a> Chat</h3>
<code>llm chat</code>で会話を継続することもできる。内容は置いておいて、雰囲気を感じて欲しい。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="160">llm chat -m bedrock-claude-v3.5-sonnet
Chatting with anthropic.claude-3-5-sonnet-20240620-v1:0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
&gt; はじめまして。ジョークを言って。
はじめまして! 喜んでジョークを言わせていただきます。

なぜカエルは車を運転できないのでしょうか?

答え: ケロケロ(カーローン)が組めないからです!

いかがでしたか? 少し言葉遊びが入っていますが、面白いと思っていただけたら嬉しいです。他にも面白いジョークがたくさんありますよ。もっと聞きたい場合は、お気軽にお申し付けください!
&gt; ありがとう。またね
ありがとうございました！楽しんでいただけたなら嬉しいです。ジョークや他の話題でも、いつでもお気軽にまた話しかけてくださいね。良い一日をお過ごしください。またお会いできるのを楽しみにして います！
&gt; exit
</code></pre></div><h2 id="%E4%BD%95%E3%81%8C%E5%AC%89%E3%81%97%E3%81%84%E3%81%8B" data-line="178" class="code-line">
<a class="header-anchor-link" href="#%E4%BD%95%E3%81%8C%E5%AC%89%E3%81%97%E3%81%84%E3%81%8B" aria-hidden="true"></a> 何が嬉しいか</h2>
AWS Bedrockのプレイグラウンドはちょっと使いずらい。とはいえセルフホスティングも煩雑という時に、環境を汚さずに雑にClaudeを叩くのに便利。
あとネタ元の記事にもあるように、<code>gptme</code>よりレスポンスが素直でシェルスクリプトに組み込みやすいのも便利そう。
<iframe id="zenn-embedded__2a9eaa3747f" src="https://embed.zenn.studio/card#zenn-embedded__2a9eaa3747f" data-content="https%3A%2F%2Fzenn.dev%2Flink%2Fcomments%2F53207f980e3c88" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://zenn.dev/link/comments/53207f980e3c88" style="display:none" target="_blank">https://zenn.dev/link/comments/53207f980e3c88</a>
まだ使い始めなので、しばらく遊んでみよう。
便利のために、使うためのコマンドを再掲する(自分用)
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="190">pip install llm
llm install llm-bedrock-anthropic
llm -m bedrock-claude-v3.5-sonnet "tell me joke"
</code></pre></div><h3 id="apppendix." data-line="196" class="code-line">
<a class="header-anchor-link" href="#apppendix." aria-hidden="true"></a> Apppendix.</h3>
Claude3.5 Sonnet V2はまだ対応してなさそうなので、プルリクを出してみた。
<iframe id="zenn-embedded__0e2d9fc935d4c" src="https://embed.zenn.studio/card#zenn-embedded__0e2d9fc935d4c" data-content="https%3A%2F%2Fgithub.com%2Fsblakey%2Fllm-bedrock-anthropic%2Fpull%2F17" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://github.com/sblakey/llm-bedrock-anthropic/pull/17" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/sblakey/llm-bedrock-anthropic/pull/17</a>

CLIツール「LLM」でAWS CloudShellから気軽にBedrockする

Discussion