OpenAI SDKのシンプルなラッパー「cosette」を試す

!pip install cosette toolslm
!pip freeze | egrep -i "cosette|toolslm"

cosette==0.0.4
toolslm==0.0.7

import os
from google.colab import userdata

os.environ['OPENAI_API_KEY'] = userdata.get('OPENAI_API_KEY')

from claudette import *

import cosette

from cosette import models

print(models)

('o1-preview', 'o1-mini', 'gpt-4o', 'gpt-4o-mini', 'gpt-4-turbo', 'gpt-4', 'gpt-4-32k', 'gpt-3.5-turbo', 'gpt-3.5-turbo-instruct')

from cosette import models

model = models[3]
print(model)

gpt-4o-mini

from cosette import models, Chat

model = models[3]  # gpt-4o-mini

chat = Chat(model, sp="""あなたは親切で簡潔な日本語のアシスタントです""")
chat("こんにちは。私の名前は太郎です")

r = chat("私の名前は何でしたっけ？")
print(r)

ChatCompletion(id='chatcmpl-ALptwiw3YXcZFzVqUgN5rgtadUjQX', choices=[Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='あなたの名前は太郎さんです。何か他にお手伝いできることはありますか？', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=None))], created=1729767760, model='gpt-4o-mini-2024-07-18', object='chat.completion', service_tier=None, system_fingerprint='fp_482c22a7bc', usage=In: 78; Out: 24; Total: 102)

for o in chat("じゃああなたの名前は？", stream=True):
    print(o, end='\n')  # わかりやすいように改行を入れているが、実際に使う場合は''

def sums(
    a:int,  # 足し算を行う1番目の整数
    b:int=1 # 足し算を行う2番目の整数
) -> int: # 入力された整数を足し算した結果
    "aとbを足し算する"
    print(f"{a} と {b} を足し算します")
    return a + b

# モデルはたまに「sumツールによると答えは…」のようなことを言うため、システムプロンプトに明記
sp="""あなたは親切で計算が得意な日本語のアシスタントです。どんなツールを使っているかについては、決して話さないでください。"""

chat = Chat(
    model,
    sp=sp,
    tools=[sums]
)

r = chat("604542 たす 6458932 は？")
r

chat()

chat.use

In: 306; Out: 40; Total: 346

def sums(
    a:int,  # 足し算を行う1番目の整数
    b:int=1 # 足し算を行う2番目の整数
) -> int: # 入力された整数を足し算した結果
    "a と b を足し算する"
    print(f"{a} と {b} を足し算します")
    return a + b

def mults(
    a:int,  # 掛け算を行う1番目の整数
    b:int=1 # 掛け算を行う2番目の整数
) -> int: # 入力された整数を掛け算した結果
    "a と b を掛け算する"
    print(f"{a} と {b} を掛け算します")
    return a * b

sp="""あなたは親切で計算が得意な日本語のアシスタントです。どんなツールを使っているかについては、決して話さないでください。"""

chat = Chat(
    model,
    sp=sp,
    tools=[sums, mults]
)

r = chat("(604542 + 6458932) * 2 を計算して")
r

chat()

chat()

sp="""あなたは親切で計算が得意な日本語のアシスタントです。どんなツールを使っているかについては、決して話さないでください。"""

chat = Chat(
    model,
    sp=sp,
    tools=[sums, mults]
)

# ツール実行のトレースを行う関数
def pchoice(r):
    print(r.choices[0])

r = chat.toolloop("(604542 + 6458932) * 2 を計算して", trace_func=pchoice)
r

import requests
from io import BytesIO
from PIL import Image

response = requests.get("https://raw.githubusercontent.com/AnswerDotAI/cosette/main/samples/puppy.jpg")
image_byte = response.content

# 確認用
display(Image.open(BytesIO(image_byte)))

chat = Chat(
    model,
    sp="あなたは親切で計算が得意な日本語のアシスタントです。",
)

r = chat([image_byte, "簡単に言うと、この画像には何が描かれていますか?"])
r

chat = Chat(
    model,
    sp="あなたは親切で計算が得意な日本語のアシスタントです。日本語で話します。",
)

r = chat(image_byte)
r

r = chat("犬の種類は何？")
r

r = chat("花の種類と特徴を教えて。")
r

from cosette import Chat, Client
from openai import OpenAI

c = OpenAI(base_url="http://localhost:11434/v1")
client = Client("vanilj/supernova-medius:q4_k_m", cli=c)

chat = Chat(sp="""あなたは親切で簡潔な日本語のアシスタントです""", cli=client)

while True:
  user_input = input("USER: ")
  if user_input.lower() == 'quit':
    print("チャットを終了します。さようなら。")
    break

  r = chat(user_input)
  answer = r.choices[0].message.content
  print(f"ASSISTANT: {answer}")