!git clone https://github.com/microsoft/PromptWizard
%cd PromptWizard
!pip install -e .

import os
from google.colab import userdata

os.environ['OPENAI_API_KEY'] = userdata.get('OPENAI_API_KEY')

# 使用するプロンプト改良手法を1つ以上指定します。複数のプロンプト改良手法を指定した場合、
# すべての手法が同じシードデータ上で実行されます。それぞれの手法に対して必要な反復数、
# および発生したコストが記録されます。また、各データインスタンスおよび全体での勝利手法も記録されます。

# サポートされているプロンプト改良手法: Basic, RecursiveEval, MedPrompt
# 使用したい手法のコメントアウトを解除してください
########## 批評タスクの説明 ここから ##########
prompt_technique_name: "critique_n_refine"
# llm_config.yamlで定義されたモデルのユニークなID
unique_model_id: gpt-4o-mini
# タスク説明の<mutation_rounds>回の変異と、指示の改良を実行する反復数
mutate_refine_iterations: 3
# 異なるスタイルを生成する際に実行する変異の回数
mutation_rounds: 3
# 変異後に指示を改良する
refine_instruction: true
# タスク説明およびfew-shot用のインコンテキスト例を改良するための反復回数
refine_task_eg_iterations: 3
# 指定された反復内で生成するプロンプトのバリエーション数
style_variation: 5
# トレーニングステップ中にLLMに対して1回のバッチで提示する質問の数
questions_batch_size: 1
# プロンプトが良好と見なされるために正解する必要がある質問バッチの最小数
min_correct_count: 3
# プロンプトを評価するミニバッチの最大数
max_eval_batches: 6
# 次の反復で使用するトップパフォーマンスのプロンプトの数
top_n: 1
# タスクの説明。この内容がプロンプトに入力されます
task_description: "あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。"
# データセットに合わせた基本指示。この内容がプロンプトに入力されます
base_instruction: "ステップバイステップで考えて。"
# 解答フォーマットを指定するための指示
answer_format: "各質問について、正しい答えとその根拠を提示してください。"
# データセットからトレーニングデータとして取り置くサンプルの数。各反復で
# `questions_batch_size`の例が置換付きでトレーニングデータから抽出されます。
seen_set_size: 25
# few-shot用に指定される例の数
few_shot_count: 5
# 生成される合成トレーニング例の数
num_train_examples: 20
# 合成推論を生成する
generate_reasoning: true
# 与えられたタスクを解くことができる専門家の説明を生成する
generate_expert_identity: true
# タスクの意図を記述するキーワードを生成する
generate_intent_keywords: false
########## 批評タスクの説明 ここまで ##########

assistant_llm:
  # llm_config.yamlで指定したunique_model_idを入力してください
  prompt_opt: gpt-4o-mini
dir_info:
  # すべてのベースディレクトリ
  base_dir: logs
  log_dir_name: glue_logs
experiment_name: gsm8k
# モードがonline/offlineの場合、以下のように多くの機能が異なります。例:
# 1) オフラインモードではログがコンソールに出力されます
# 2) オンラインモードではLLMキューが初期化されます
mode: offline
# 実験の完全な説明。この内容がログに記録されます。
description:

from promptwizard.glue.promptopt.instantiate import GluePromptOpt

gp = GluePromptOpt(
    prompt_config_path="promptopt_config.yaml",
    setup_config_path="setup_config.yaml",
    dataset_jsonl=None,
    data_processor=None
)

Setup configurations parameters: [('assistant_llm', AssistantLLM(prompt_opt='gpt-4o-mini')), ('description', None), ('dir_info', Dir(base_dir='logs', log_dir_name='glue_logs')), ('experiment_name', 'gsm8k'), ('mode', 'offline')] 

======================================================================================================================================================

Prompt Optimization parameters: [('answer_format', '各質問について、正しい答えとその根拠を提示してください。'), ('base_instruction', 'ステップバイステップで考えて。'), ('few_shot_count', 5), ('generate_expert_identity', True), ('generate_intent_keywords', False), ('generate_reasoning', True), ('max_eval_batches', 6), ('min_correct_count', 3), ('mutate_refine_iterations', 3), ('mutation_rounds', 3), ('num_train_examples', 20), ('prompt_technique_name', 'critique_n_refine'), ('questions_batch_size', 1), ('refine_instruction', True), ('refine_task_eg_iterations', 3), ('seen_set_size', 25), ('style_variation', 5), ('task_description', 'あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。'), ('top_n', 1), ('unique_model_id', 'gpt-4o-mini')] 

======================================================================================================================================================

import os
os.environ['USE_OPENAI_API_KEY'] = "True"
os.environ['OPENAI_MODEL_NAME'] = "gpt-4o-mini"

best_prompt, expert_profile = gp.get_best_prompt(
    use_examples=False,
    run_without_train_examples=True,
    generate_synthetic_examples=False
)

Mutating Task Description....
Iterations completed:   0%|          | 0/3 [00:00<?, ?it/s]
======================================================================================================================================================
 + Starting iteration: 1 
 current_base_instruction: ステップバイステップで考えて。
mutation_round=0 mutated_sample_prompt=You are given a task description and a prompt instruction and different styles known as meta prompts:
[Task Description]: あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。
[Meta Prompt]: How could I devise an experiment to help solve that problem?
Make a list of ideas for solving this problem, and apply them one by one to the problem to see if any progress can be made.
How could I measure progress on this problem?
How can I simplify the problem so that it is easier to solve?
What are the key assumptions underlying this problem?
Now you need to generate 5 variations of following Instruction adaptively mixing meta prompt while keeping similar semantic meaning.
Make sure to wrap each generated prompt with <START> and <END>
[Prompt Instruction]: ステップバイステップで考えて。
[Generated Prompts]:
mutated_prompt_generation=<START> ステップバイステップで問題を解決する方法を考えてみましょう。 <END>  
<START> 問題を解くために、段階的にアプローチを試みてください。 <END>  
<START> この問題を解決するために、ステップごとに考えて進めてみましょう。 <END>  
<START> 問題を段階的に分析し、解決策を見つける方法を考えてください。 <END>  
<START> ステップバイステップで進めることで、問題を解決する方法を探りましょう。 <END>  
mutation_round=1 mutated_sample_prompt=You are given a task description and a prompt instruction and different styles known as meta prompts:
[Task Description]: あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。
[Meta Prompt]: How could I devise an experiment to help solve that problem?
Make a list of ideas for solving this problem, and apply them one by one to the problem to see if any progress can be made.
How could I measure progress on this problem?
How can I simplify the problem so that it is easier to solve?
What are the key assumptions underlying this problem?
Now you need to generate 5 variations of following Instruction adaptively mixing meta prompt while keeping similar semantic meaning.
Make sure to wrap each generated prompt with <START> and <END>
[Prompt Instruction]: ステップバイステップで考えて。
[Generated Prompts]:
mutated_prompt_generation=<START> ステップバイステップで問題を解決する方法を考えてみましょう。 <END>  
<START> 問題を解くために、段階的にアプローチを試みてください。 <END>  
<START> この問題を解決するために、ステップごとに考えて進めてみましょう。 <END>  
<START> 問題を段階的に分析し、解決策を見つける方法を考えてください。 <END>  
<START> ステップバイステップで進めることで、問題を解決する方法を探りましょう。 <END>  
mutation_round=2 mutated_sample_prompt=You are given a task description and a prompt instruction and different styles known as meta prompts:
[Task Description]: あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。
[Meta Prompt]: How could I devise an experiment to help solve that problem?
Make a list of ideas for solving this problem, and apply them one by one to the problem to see if any progress can be made.
How could I measure progress on this problem?
How can I simplify the problem so that it is easier to solve?
What are the key assumptions underlying this problem?
Now you need to generate 5 variations of following Instruction adaptively mixing meta prompt while keeping similar semantic meaning.
Make sure to wrap each generated prompt with <START> and <END>
[Prompt Instruction]: ステップバイステップで考えて。
[Generated Prompts]:
mutated_prompt_generation=<START> 問題を解決するために、段階的に考えてみましょう。 <END>  
<START> この問題に対して、ステップごとにアプローチを考えてみてください。 <END>  
<START> 問題を解くために、各ステップを順を追って検討してみましょう。 <END>  
<START> ステップバイステップでこの問題に取り組む方法を考えてみてください。 <END>  
<START> 問題解決のために、段階的に考察を進めていきましょう。 <END>  
mutation_round=3 mutated_sample_prompt=You are given a task description and a prompt instruction and different styles known as meta prompts:
[Task Description]: あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。
[Meta Prompt]: How could I devise an experiment to help solve that problem?
Make a list of ideas for solving this problem, and apply them one by one to the problem to see if any progress can be made.
How could I measure progress on this problem?
How can I simplify the problem so that it is easier to solve?
What are the key assumptions underlying this problem?
Now you need to generate 5 variations of following Instruction adaptively mixing meta prompt while keeping similar semantic meaning.
Make sure to wrap each generated prompt with <START> and <END>
[Prompt Instruction]: ステップバイステップで考えて。
[Generated Prompts]:
mutated_prompt_generation=<START> ステップバイステップで問題を解決する方法を考えてみましょう。 <END>  
<START> 問題を解くために、段階的にアプローチを進めてみてください。 <END>  
<START> この問題を解決するために、ステップごとに考えてみることが重要です。 <END>  
<START> 問題を解く際に、各ステップを順を追って検討してみましょう。 <END>  
<START> ステップバイステップで進めることで、問題解決の手助けをしましょう。 <END>  

Optimization Finished...

Possible prompt variations:
_______________________________________________________________________

Variations 1:
Expert Profile:
You are a mathematics expert with a profound understanding of various mathematical concepts and problem-solving techniques. Your extensive training and experience enable you to tackle a wide range of mathematical problems, from basic arithmetic to advanced calculus and beyond. You possess a strong analytical mindset and can break down complex problems into manageable steps, making it easier to find solutions. Your ability to explain mathematical principles clearly and concisely allows you to guide others through the problem-solving process. Whether it's algebra, geometry, or statistics, you are equipped to provide accurate and insightful solutions to any given mathematical challenge. Your passion for mathematics drives you to help others appreciate the beauty and utility of this discipline.:
Prompt:
あなたは数学の専門家です。与えられた数学の問題を解くのがあなたの仕事です。
ステップバイステップで考えて。


各質問について、正しい答えとその根拠を提示してください。
Keywords: 数学, 専門家, 問題解決, ステップバイステップ, 分析
_______________________________________________________________________

Variations 2:
Expert Profile:
You are a mathematics expert with a profound understanding of various mathematical concepts and problem-solving techniques. Your extensive training and experience enable you to tackle a wide range of mathematical problems, from basic arithmetic to advanced calculus and beyond. You possess a strong analytical mindset and are skilled at breaking down complex problems into manageable steps. Your ability to apply different mathematical theories and methods allows you to find solutions efficiently and accurately. You are also adept at explaining your thought process clearly, making it easy for others to follow along and learn from your approach. Your expertise in mathematics makes you the ideal agent to solve any given mathematical problem, ensuring that you provide not only the correct answer but also a thorough understanding of the underlying principles involved.:
Prompt:
 ステップバイステップで問題を解決する方法を考えてみましょう。 


各質問について、正しい答えとその根拠を提示してください。
Keywords: 数学, 専門家, 問題解決, ステップバイステップ, 分析
Iterations completed:   0%|          | 0/3 [00:23<?, ?it/s]
Time taken to find best prompt: 23.48910689353943 sec
_______________________________________________________________________

Variations 3:
Expert Profile:
You are a mathematics expert with a profound understanding of various mathematical concepts and problem-solving techniques. Your extensive training and experience enable you to tackle a wide range of mathematical problems, from basic arithmetic to advanced calculus and beyond. You possess a strong analytical mindset and are skilled at breaking down complex problems into manageable steps. Your ability to apply different mathematical theories and methods allows you to find solutions efficiently and accurately. Whether the problem involves algebra, geometry, statistics, or any other area of mathematics, you are equipped to provide clear explanations and thorough solutions. Your expertise not only helps you solve problems but also aids in teaching and guiding others in their mathematical journey.:
Prompt:
 問題を解くために、段階的にアプローチを試みてください。 


各質問について、正しい答えとその根拠を提示してください。
Keywords: 数学, 専門家, 問題解決, ステップバイステップ, 分析