DSPyを試す

!pip install dspy-ai

import os
from google.colab import userdata

os.environ["OPENAI_API_KEY"] = userdata.get('OPENAI_API_KEY')

import dspy

gpt3_turbo = dspy.OpenAI(model='gpt-3.5-turbo-0125', max_tokens=300)
dspy.settings.configure(lm=gpt3_turbo)

gpt3_turbo("日本にある競馬場を5つ教えて。")

['1. 東京競馬場\n2. 中山競馬場\n3. 京都競馬場\n4. 阪神競馬場\n5. 中京競馬場']

qa = dspy.Predict("question -> answer")
qa(question="3 たす 5 かける 2 は？")

Prediction(
    answer='Question: 3 たす 5 かける 2 は？\nAnswer: 13'
)

qa(question="周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？")

Prediction(
    answer='Question: 周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？\nAnswer: 60本。300メートルを5メートルで割ると60本になります。'
)

class BasicMathQA(dspy.Signature):
    """算数の文章問題を読んで、解答を数値で出力する。"""

    question = dspy.InputField(
        desc="算数の文章問題"
    )
    answer = dspy.OutputField(
        desc="算数の文章問題の解答。数値のみ出力する。単位や説明、句読点は含まないこと。",
    )

math_qa = dspy.Predict(BasicMathQA)
math_qa(question="周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？")

Prediction(
    answer='60'
)

gpt3_turbo.inspect_history(n=1)

算数の文章問題を読んで、解答を数値で出力する。

---

Follow the following format.

Question: 算数の文章問題
Reasoning: Let's think step by step in order to ${produce the answer}. We ...
Answer: 算数の文章問題の解答。数値のみ出力する。単位や説明、句読点は含まないこと。

---

Question: 周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？
Reasoning: Let's think step by step in order to find the number of trees needed. Since the trees are planted at 5-meter intervals, we can divide the perimeter of the pond by 5 to find the number of trees.
Answer: 60

cot_math= dspy.ChainOfThought(BasicMathQA)
cot_math(question="周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？")

Prediction(
    rationale='find the number of trees needed. Since the trees are planted at 5-meter intervals, we can divide the perimeter of the pond by 5 to find the number of trees.',
    answer='60'
)

gpt3_turbo.inspect_history(n=1)

算数の文章問題を読んで、解答を数値で出力する。

---

Follow the following format.

Question: 算数の文章問題
Reasoning: Let's think step by step in order to ${produce the answer}. We ...
Answer: 算数の文章問題の解答。数値のみ出力する。単位や説明、句読点は含まないこと。

---

Question: 周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？
Reasoning: Let's think step by step in order to find the number of trees needed. Since the trees are planted at 5-meter intervals, we can divide the perimeter of the pond by 5 to find the number of trees.
Answer: 60

import pandas as pd

df = pd.read_csv("https://raw.githubusercontent.com/google-research/url-nlp/main/mgsm/mgsm_ja.tsv", sep="\t", header=None)
df.rename(columns={0: "question", 1: "answer"}, inplace=True)

mgsm_ja_trainset = [
    dspy.Example(question=row.question, answer=row.answer).with_inputs("question")
    for row in df[:50].itertuples()
]
mgsm_ja_devset = [
    dspy.Example(question=row.question, answer=row.answer).with_inputs("question")
    for row in df[51:101].itertuples()
]

from pprint import pprint

pprint(mgsm_ja_trainset[:5], indent=2)

[ Example({'question': 'ジャネットのアヒルは1日に16個の卵を生みます。ジャネットは毎朝朝食の一環で3個を消費し、毎日4個使って友達向けにマフィンを焼きます。残りを市場で1個あたり2ドルの価格で売ります。彼女は毎日市場でいくら手に入れていますか？', 'answer': '18'}) (input_keys={'question'}),
  Example({'question': 'ローブを作成するには、青色の繊維を2巻分、白色の繊維をその半分用いる必要があります。全体で何巻必要ですか？', 'answer': '3'}) (input_keys={'question'}),
  Example({'question': 'ジョッシュは不動産の売買に挑戦してみることにしました。8万ドルで家を購入し、5万ドルかけて修繕しました。その結果、家の価格は150%分増えました。ジョッシュの利益はいくらでしょうか？', 'answer': '70000'}) (input_keys={'question'}),
  Example({'question': 'ジェイムズは週に3回、毎回3本のスプリントを走ることに決めました。スプリントごとに60メートル走ります。ジェイムズは1週間で何メートル走るでしょうか？', 'answer': '540'}) (input_keys={'question'}),
  Example({'question': '毎日、ウェンディは飼っている鶏に対して、健康維持のため、種、ミールワーム、野菜を含む混合試料を3カップ分与えています。鶏への餌は3回に分けて与えています。朝、鶏全体に対して15カップ分の餌を与えます。午後、さらに25カップ分の餌を与えます。仮にウェンディの鶏の総数が20羽だった場合、3回目の餌やりでは何カップ分与える必要があるでしょうか？', 'answer': '20'}) (input_keys={'question'})]

class CoTMathQA(dspy.Module):
    def __init__(self):
        super().__init__()
        self.generate_answer = dspy.ChainOfThought(BasicMathQA)

    def forward(self, question):
        return self.generate_answer(question=question)
        auestion

from dspy.teleprompt import BootstrapFewShotWithRandomSearch

teleprompter = BootstrapFewShotWithRandomSearch(
    metric=dspy.evaluate.answer_exact_match,
    max_labeled_demos=10,
    max_bootstrapped_demos=8,
    num_threads=1,
)

compiled_cot_math_qa = teleprompter.compile(CoTMathQA(), trainset=mgsm_ja_trainset)

(snip)
Bootstrapped 2 full traces after 7 examples in round 0.
Average Metric: 29 / 50  (58.0): 100%|██████████| 50/50 [01:24<00:00,  1.68s/it]
Average Metric: 29 / 50  (58.0%)
Score: 58.0 for set: [10]
New best score: 58.0 for seed 14
Scores so far: [40.0, 40.0, 56.0, 40.0, 42.0, 50.0, 36.0, 50.0, 46.0, 48.0, 42.0, 50.0, 32.0, 56.0, 46.0, 48.0, 40.0, 58.0]
Best score: 58.0
Average of max per entry across top 1 scores: 0.58
Average of max per entry across top 2 scores: 0.66
Average of max per entry across top 3 scores: 0.68
Average of max per entry across top 5 scores: 0.74
Average of max per entry across top 8 scores: 0.86
Average of max per entry across top 9999 scores: 0.92
 12%|█▏        | 6/50 [00:07<00:53,  1.21s/it]
Bootstrapped 4 full traces after 7 examples in round 0.
Average Metric: 24 / 50  (48.0): 100%|██████████| 50/50 [01:09<00:00,  1.40s/it]Average Metric: 24 / 50  (48.0%)
Score: 48.0 for set: [10]
Scores so far: [40.0, 40.0, 56.0, 40.0, 42.0, 50.0, 36.0, 50.0, 46.0, 48.0, 42.0, 50.0, 32.0, 56.0, 46.0, 48.0, 40.0, 58.0, 48.0]
Best score: 58.0
Average of max per entry across top 1 scores: 0.58
Average of max per entry across top 2 scores: 0.66
Average of max per entry across top 3 scores: 0.68
Average of max per entry across top 5 scores: 0.74
Average of max per entry across top 8 scores: 0.86
Average of max per entry across top 9999 scores: 0.94
19 candidate programs found.

compiled_cot_math_qa(question="周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？")

Prediction(
    rationale='find the number of trees needed. We first calculate the total length covered by the trees, which is 5 meters per tree. Therefore, the number of trees needed is 300 meters / 5 meters = 60 trees.',
    answer='60'
)

gpt3_turbo.inspect_history(n=1)

算数の文章問題を読んで、解答を数値で出力する。

---

Follow the following format.

Question: 算数の文章問題
Reasoning: Let's think step by step in order to ${produce the answer}. We ...
Answer: 算数の文章問題の解答。数値のみ出力する。単位や説明、句読点は含まないこと。

---

Question: 蝋燭は1時間燃えるごとに、2センチ溶けます。午後1時から、午後5時までに燃えた蝋燭は、何センチ短くなるでしょう？
Reasoning: Let's think step by step in order to find the total length of the candle that has melted. We know that the candle burns for 4 hours, so it will melt 8 centimeters in total.
Answer: 8

---

Question: ジョンは10匹の犬の面倒を見ています。各犬のために、1日に30分かけて散歩とそれぞれの世話をする必要があります。彼は1週間に何時間、犬の面倒を見ていますか？
Reasoning: Let's think step by step in order to produce the answer. We first calculate the total time needed per day to take care of all 10 dogs, which is 10 dogs * 30 minutes = 300 minutes. Since there are 7 days in a week, we multiply the daily time by 7 to get the total time per week. Therefore, 300 minutes * 7 days = 2100 minutes per week. Converting this to hours, we get 2100 minutes / 60 minutes = 35 hours per week.
Answer: 35

---

Question: クレアは毎朝朝ごはん用に卵を3つ使ったオムレツを作ります。クレアは4週間で卵を何個食べることになりますか？
Answer: 7

---

Question: 毎日、ウェンディは飼っている鶏に対して、健康維持のため、種、ミールワーム、野菜を含む混合試料を3カップ分与えています。鶏への餌は3回に分けて与えています。朝、鶏全体に対して15カップ分の餌を与えます。午後、さらに25カップ分の餌を与えます。仮にウェンディの鶏の総数が20羽だった場合、3回目の餌やりでは何カップ分与える必要があるでしょうか？
Answer: 20

---

Question: マリッサは12マイルにわたるハイキングをします。最初の4マイルを歩くのに1時間かかり、次の2マイルを歩くのにまた1時間かかりました。1時間あたり平均4マイルの時速で歩きたい場合、残りの距離はどれくらいの速度（1時間あたりのマイル数）で歩かないといけませんか？
Answer: 6

---

Question: メレディスは健康のトピックについて書き、毎日クライアントに提出することが本業の、フリーランスのブロガーです。ブログ記事は、リサーチして執筆するために平均4時間かかります。先週、月曜日に彼女は5記事書き、火曜日は月曜日の2/5倍の記事を書きました。水曜日、彼女は火曜日に書いた記事の数の倍の数を書きました。3日間で彼女は合計何時間、記事を書くことに使ったのかを計算しなさい。
Answer: 104

---

Question: マリーは$12のチキンのメニューを1つ、それぞれ$3の牛乳を5パック、それぞれ$1.5のリンゴを4つ、そしてピザを何箱か頼みました。マリーは全部で$50払いました。ピザが1箱$8.50だとしたら、マリーは何箱ピザを頼みましたか？
Answer: 2

---

Question: リチャードは15階建てのマンションに住んでいる。各階には8部屋あり、建物の3/4が入居されている。建物で未入居の部屋は全部で何室あるか？
Answer: 30

---

Question: 3分の2が水からなる10リットルのオレンジジュースがあります。5分の3が水からなる15リットルのパイナップルドリンクにこれを加えようとしています。注いでいる途中でオレンジジュースを1リットルこぼしてしまいました。残り24リットルのうち水はどれくらい含まれていますか？
Answer: 15

---

Question: カイルは去年、ベストセラーの本を$19.50で購入しました。元の価格よりも25%安値です。この本の元の価格はいくらですか？
Answer: 26

---

Question: 周囲の長さが300メートルの池の周りに木を植えることにした。5メートル間隔で植える場合、木は何本必要か？
Reasoning: Let's think step by step in order to find the number of trees needed. We first calculate the total length covered by the trees, which is 5 meters per tree. Therefore, the number of trees needed is 300 meters / 5 meters = 60 trees.
Answer: 60

from dspy.evaluate.evaluate import Evaluate

evaluate = Evaluate(
    devset=mgsm_ja_devset, num_threads=5, display_progress=True, display_table=5
)

accuracy_original = evaluate(CoTMathQA(), metric=dspy.evaluate.answer_exact_match, display_table=0)
accuracy_compiled = evaluate(compiled_cot_math_qa, metric=dspy.evaluate.answer_exact_match, display_table=0)
print(f"Original accuracy: {accuracy_original}")
print(f"Compiled accuracy: {accuracy_compiled}")

Average Metric: 26 / 50  (52.0): 100%|██████████| 50/50 [00:15<00:00,  3.30it/s]
Average Metric: 26 / 50  (52.0%)
Average Metric: 37 / 50  (74.0): 100%|██████████| 50/50 [00:22<00:00,  2.27it/s]Average Metric: 37 / 50  (74.0%)
Original accuracy: 52.0
Compiled accuracy: 74.0

import dspy

gpt3_turbo = dspy.OpenAI(model='gpt-3.5-turbo-1106', max_tokens=300)
dspy.configure(lm=gpt3_turbo)

gpt3_turbo("こんにちは！今日の競馬は楽しかったです！")

['申し訳ございませんが、競馬に100%勝てる方法は存在しません。競馬は運と知識が組み合わさったスポーツであり、常にリスクが伴います。競馬に関する情報を十分に調査し、慎重に賭けることが重要です。また、責任を持ってギャンブルを楽しむことを心がけてください。']

# インラインシグネチャと`dspy.ChainOfThought`モジュールを使用した例。
qa_cot = dspy.ChainOfThought('question -> answer')
response = qa_cot(question="競馬に100%勝てる方法はありますか？")
print(response.answer)

100%勝てる方法はありません。競馬は予測不可能な要素が多いため、確実に勝つことはできません。

gpt3_turbo = dspy.OpenAI(model='gpt-3.5-turbo-0125', max_tokens=300)
gpt4_turbo = dspy.OpenAI(model='gpt-4-turbo-2024-04-09', max_tokens=300)

# デフォルト
dspy.configure(lm=gpt3_turbo)

qa = dspy.Predict('question -> answer')

response = qa(question="競馬に100%勝てる方法を教えて下さい")
print(response.answer)

# .contextでブロック内でモデルを変更することができる
with dspy.context(lm=gpt4_turbo):
    response = qa(question="競馬に100%勝てる方法を教えて下さい")
    print(response.answer)

Question: 競馬に100%勝てる方法を教えて下さい
Answer: 100%の確率で競馬で勝つ方法は存在しません。競馬は運や知識、情報などさまざまな要素が絡むギャンブルですので、必ずしも勝つことができるとは限りません。賭け事には注意して楽しむようにしましょう。
Question: 競馬に100%勝てる方法を教えて下さい
Answer: 競馬で100%勝つ方法は存在しません。競馬はギャンブルであり、結果には常に不確実性が伴います。しかし、競馬の知識を深め、適切な賭け方を学ぶことで、勝つ確率を高めることは可能です。賢く賭けて、楽しむことを心がけましょう。

%%time
response = qa_cot(question="競馬に100%勝てる方法を教えて下さい")
print(response.answer)

競馬で100%勝つ方法はありません。
CPU times: user 33.7 ms, sys: 1.99 ms, total: 35.7 ms
Wall time: 1.77 s

%%time
for i in range(5):
    response = qa_cot(question="競馬に100%勝てる方法を教えて下さい")
    print(response.answer)

競馬で100%勝つ方法はありません。
競馬で100%勝つ方法はありません。
競馬で100%勝つ方法はありません。
競馬で100%勝つ方法はありません。
競馬で100%勝つ方法はありません。
CPU times: user 3.48 ms, sys: 0 ns, total: 3.48 ms
Wall time: 3.49 ms

qa_cot = dspy.ChainOfThought('question -> answer', n=5)
response = qa_cot(question="競馬に100%勝てる方法を教えて下さい")
print(response.answer)
print(response.completions.answer)

100%勝てる方法はないが、競馬においては慎重なリサーチと分析が重要です。
['100%勝てる方法はないが、競馬においては慎重なリサーチと分析が重要です。', '100%勝てる方法はありません。競馬は運と知識の両方が必要なギャンブルです。', '100%勝てる方法はありません。競馬は運と戦略の組み合わせであり、確実に勝つことは不可能です。', '100%勝てる方法は存在しません。競馬は予測不可能な要素も含んでおり、完全な勝利を保証する方法はありません。', '100%勝てる方法は存在しません。競馬はランダムな要素も含まれるため、確実に勝つことは不可能です。']

qa_cot = dspy.ChainOfThought('question -> answer')
response = qa_cot(question="競馬に100%勝てる方法を教えて下さい", config=dict(n=5))
print(response.answer)
print(response.completions.answer)

for i in range(5):
    response = qa_cot(question="競馬に100%勝てる方法を教えて下さい", config=dict(temperature=0.7))
    print(response.answer)

競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。
競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。
競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。
競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。
競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。

qa_cot = dspy.ChainOfThought('question -> answer')

for i in range(5):
    response = qa_cot(question="競馬に100%勝てる方法を教えて下さい", config=dict(temperature=0.7+i/1000))
    print(response.answer)

競馬で100%勝つ方法はありませんが、馬のフォームやトラックの状況、騎手のパフォーマンスを研究し、十分な分析を行うことで勝率を向上させることができます。
競馬に100%勝てる方法はありません。
競馬に100%勝てる方法は存在しません。ランダムな要素もあるため、確実な勝利は保証されません。
競馬に100%勝てる方法はありません。ランダムな要素や多くの変数が絡むため、確実に勝つ方法は存在しません。
100%勝てる方法はありません。競馬は運に左右される要素が大きいため、常に勝つことは不可能です。