Command R+ を Cohere API + Gradio で使う

Command R+ を Cohere API + Gradio で使う

ただのメモです。公式以上の情報はないです。.env ファイルに COHERE_API_KEY を設定している前提です。

.env

COHERE_API_KEY="xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

Cohere API Key は cohere にログインして下記のページで取得できます(2024/05現在)。

• API Keys

記事の執筆時点では無料で取得可能ですが、時間がたつと条件が変わっているかもしれません。

環境構築 (Anacondaの場合)

$ conda create -n cohere python=3.12
$ conda activate cohere
$ pip install cohere python-dotenv gradio

コード

マークダウン形式での出力にも一応対応したつもりです。

cohere.py

import os
from dotenv import load_dotenv
from cohere
import gradio as gr

load_dotenv()
co = cohere.Client(os.environ['COHERE_API_KEY'])

def chat( prompt ):
  stream = co.chat_stream(
      message=prompt
  )
  res = ''
  for event in stream:
      if event.event_type == "text-generation":
          res += event.text
  return res

with gr.Blocks() as demo:
    prompt = gr.Textbox(label="Prompt")
    output = gr.Markdown(label="Output Box")
    greet_btn = gr.Button("Send")

    greet_btn.click(fn=chat, inputs=prompt, outputs=output)


# 起動
#demo.launch(server_port=80) # ポートを指定する場合
demo.launch()

起動テスト

$ python cohere.py

Running on local URL:  http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.

ブラウザで上記 URL を開きます。prompt を入力して Send を押すと、生成された文章が表示されます。