無料で使えるLLM API Groqを使ってみた
概要
LLM APIを使ってみたいけど従量課金システムには抵抗があるという私でも気軽に使えるAPIを知ったので、本記事ではその使い方をまとめたいと思います。
Groqとは
Groqは、Google出身のエンジニアが創業したスタートアップ企業によって開発された対話型生成AIです。レスポンスが非常に高速であることが特徴であり、Chat画面にも「Groq is Fast AI Inference」とあります。体感でもレスポンスが一瞬でした。
ドキュメンテーションによると、OpanAIのAPIを使用した既存のアプリケーションでも、簡単にGroqに置き換えできることを目指して設計されているようです。
OpenAI Compatibility
Groq's APIs are designed to be compatible with OpenAI's, with the goal of making it easy to leverage Groq in applications you may have already built. However, there are some nuanced differences where support is not yet available.
APIの使い方
以下の手順に進む前に、Gropにサインインしておきましょう。Googleのアカウントとの連携も出来ますので簡単です。
APIキーを発行する
こちらのページに遷移します。
「Create API Key」をクリックします。
APIキーの名称を入力すると、APIキーが表示されますが一度きりしか表示されないため、画面上でコピーすることを忘れないようにしましょう。
👇作成されたキーは一覧で表示されますが、この画面に戻ってしまうとキーをコピーできなくなるので注意してください。もしコピーし忘れた場合は古いキーを削除🚮して新たに作り直しましょう。
APIキーを環境変数に設定する
ターミナル上でAPIキーを環境変数に設定します。これにより、プログラム上でAPIキーを指定する必要がなくなります。
Unix/MacOSの場合
export GROQ_API_KEY="your-api-key-here"
WindowOSの場合
setx GROQ_API_KEY "your-api-key-here"
groqをインストールする
!pip install groq
PythonからAPIを呼び出す
import os
from groq import Groq
# Create the Groq client
client = Groq(api_key=os.environ.get("GROQ_API_KEY"))
# Set the system prompt
system_prompt = {
"role": "system",
"content": "あなたは便利なアシスタントです。質問には簡潔に答えてください。"
}
# Set the user prompt
user_input = "日本で一番高い山は？"
user_prompt = {
"role": "user", "content": user_input
}
# Initialize the chat history
chat_history = [system_prompt, user_prompt]
response = client.chat.completions.create(model="llama3-70b-8192",
messages=chat_history,
max_tokens=100,
temperature=1.2)
# Print the response
print("Answer:", response.choices[0].message.content)
結果はこのように出力されました。
Answer: 日本で一番高い山は富士山（3,776m）です！
モデルを変更したい場合はこの部分を変えればOKです。
response = client.chat.completions.create(model="★ここを変更",...)
おわりに
本記事ではGroq APIキーを発行し、Pythonからの呼び出しで簡単な動作確認を行いました。
公式ドキュメンテーションでは様々なExampleが紹介されています💡今後試してみたいと思います。
お読みいただきありがとうございました。
Discussion