SakanaAI/AI-Scientistについて調べる

{task_description}
<experiment.py>
{code}
</experiment.py>

これまでに生成されたアイデアは以下の通りです：

'''
{prev_ideas_string}
'''

提供されたコードを使って実行可能な、次の影響力のある創造的な研究実験とその方向性のアイデアを考え出してください。
追加のリソースやデータセットにはアクセスできないことに注意してください。
どのアイデアも特定のトレーニングデータセットやモデルに過度に適合せず、より広い意義を持つようにしてください。

以下の形式で回答してください：

THOUGHT:
<THOUGHT>

NEW IDEA JSON:
```json
<JSON>
```
<THOUGHT>では、まずアイデアの直感と動機について簡潔に述べてください。高レベルの計画、必要な設計上の選択、実験の理想的な結果について詳しく説明してください。既存のアイデアとどのように異なるかを正当化してください。
<JSON>では、以下のフィールドを持つJSON形式で新しいアイデアを提供してください：

"Name": アイデアの短縮された記述子。小文字、スペースなし、アンダースコア可。
"Title": アイデアのタイトル。レポート作成に使用されます。
"Experiment": 実装の概要。例：どの関数を追加または修正する必要があるか、結果をどのように得るか、など。
"Interestingness": 1から10までの評価（最低から最高）。
"Feasibility": 1から10までの評価（最低から最高）。
"Novelty": 1から10までの評価（最低から最高）。

評価には慎重かつ現実的であってください。
このJSONは自動的に解析されるため、形式が正確であることを確認してください。
アイデアを繰り返し改善する機会が{num_reflections}回ありますが、すべてを使用する必要はありません。

idea_reflection_prompt = """ラウンド {current_round}/{num_reflections}。
思考の中で、まず、あなたが作成したアイデアの質、新規性、実現可能性を慎重に検討してください。
アイデアを評価する上で重要だと思われる他の要因も含めてください。
アイデアが明確で簡潔であること、そしてJSONが正しい形式であることを確認してください。
物事を過度に複雑にしないでください。
次の試みでは、アイデアを洗練し、改善するよう努めてください。
明らかな問題がない限り、元のアイデアの本質を守ってください。

以前と同じ形式で回答してください：
THOUGHT:
<THOUGHT>

NEW IDEA JSON:
```json
<JSON>
```

改善の余地がない場合は、思考の後に前回のJSONをそのまま繰り返し、思考の最後（JSONの前）に「完了しました」と記載してください。
変更を加えない場合にのみ「完了しました」を含めてください。
```

あなたは、フィールドに大きく貢献する論文を発表しようとする野心的なAI博士課程の学生です。
あるアイデアがあり、それが新規性があるかどうかを確認したいと考えています。つまり、既存の文献と大きく重複していないか、すでによく探求されていないかを確認したいのです。
新規性に対して厳しい批評家となり、新しい会議やワークショップの論文として十分な貢献があるかを確認してください。
Semantic Scholar APIにアクセスでき、これを使って文献を調査し、決定に役立つ関連論文を見つけることができます。
任意の検索クエリに対して上位10件の結果が、要約と共に提示されます。

論文を決定するために{num_rounds}回のチャンスがありますが、すべてを使用する必要はありません。
どのラウンドでも、早期に終了してアイデアの新規性を決定することができます。
十分な検索の後、あなたのアイデアと大きく重複する論文が見つからなかった場合、そのアイデアには新規性があると判断してください。
あなたのアイデアと大きく重複する論文が見つかった場合、そのアイデアには新規性がないと判断してください。

{task_description}
<experiment.py>
{code}
</experiment.py>

ラウンド {current_round}/{num_rounds}。
あなたには以下のアイデアがあります：

"""
{idea}
"""

前回のクエリの結果は以下の通りです（初回は空）：
"""
{last_query_results}
"""

以下の形式で回答してください：

THOUGHT:
<THOUGHT>

RESPONSE:
```json
<JSON>
```

<THOUGHT>では、まずアイデアについて簡潔に推論し、決定を下すのに役立つクエリを特定してください。
決定を下した場合は、思考に「決定済み：新規性あり。」または「決定済み：新規性なし。」を追加してください。

<JSON>では、以下のフィールドのみを含むJSON形式で回答してください：
- "Query": 文献を検索するためのオプションの検索クエリ（例：attention is all you need）。今回決定を下していない場合は、クエリを行う必要があります。

探している論文の正確な名前や著者を思い出せる場合、クエリが最も効果的に機能します。
このJSONは自動的に解析されるため、形式が正確であることを確認してください。

あなたの目標は、以下のアイデアを実装することです：{title}。
提案された実験は以下の通りです：{idea}。
必要な実験を完了するために、合計で最大{max_runs}回の実行が与えられています。すべての{max_runs}回を使用する必要はありません。

まず、実行したい実験のリストを計画してください。例えば、特定のハイパーパラメータを調査する場合、各実行でテストしたい各値を計画してください。

すでにバニラベースラインの結果を提供しているため、それを再実行する必要はありません。

参考として、ベースラインの結果は以下の通りです：

{baseline_results}

各変更を完了した後、`python experiment.py --out_dir=run_i`というコマンドを実行します。ここで、iは実行番号です。そして結果を評価します。
あなたが提案する変更は、このコマンド形式を使用しなければなりません。追加のコマンドライン引数を加えないでください。
その後、リストの次の項目を実装することができます。

実行が以下のエラーで失敗しました：{stderr_output}

実行 {run_num} が完了しました。結果は以下の通りです：
{results}

この結果を踏まえて、実験計画を再考する必要があるかどうかを決定してください（多くの場合、再考の必要はありません）。

将来、他の誰かがこの内容について要約を作成するために `notes.txt` を使用します。
実験の説明と実行番号を含む、実行 {run_num} に関する要約に必要なすべての関連情報を含めてください。必要に応じて詳細に記述してください。

次に、リストの次の項目を実装してください。
その後、`python experiment.py --out_dir=run_{run_num + 1}` というコマンドを実行します。
あなたが提案する変更は、このコマンド形式を使用しなければなりません。追加のコマンドライン引数を加えないでください。
実験が終了した場合は、'ALL_COMPLETED' と回答してください。

素晴らしい仕事です！最終的なレポートに最も関連性のある図を生成するために、`plot.py` を修正してください。

特に、プロットしたい各実行に対して正しい名前を「labels」辞書に記入するようにしてください。

「labels」辞書に含まれる実行のみがプロットされるので、関連するすべての実行を必ず含めるようにしてください。

図を生成するために、`python plot.py` というコマンドを実行します。

各プロットが示す内容と図のファイル名を含む説明を `notes.txt` に追加してください。できるだけ詳細に記述してください。

将来、他の誰かがこの `notes.txt` を使用してこの内容についてレポートを作成します。

レビューフォーム
以下は、各論文のレビューフォームで尋ねられる質問の説明と、これらの質問に回答する際に考慮すべきガイドラインです。
レビューを書く際は、決定後に採択された論文と、オプトインした不採択論文のレビューとメタレビューが公開されることを念頭に置いてください。

1. 要約：論文とその貢献を簡潔に要約してください。ここは論文を批評する場所ではありません。適切に書かれた要約であれば、著者も概ね同意するはずです。
  - 長所と短所：以下の各側面に触れながら、論文の長所と短所を徹底的に評価してください：
  - 独創性：タスクや方法は新しいですか？既知の技術の新しい組み合わせですか？（これは価値があります！）この研究が以前の貢献とどのように異なるかが明確ですか？関連研究は適切に引用されていますか？
  - 品質：提出物は技術的に健全ですか？主張は十分に裏付けられていますか（理論的分析や実験結果など）？使用された方法は適切ですか？これは完成した研究ですか、それとも進行中の研究ですか？著者は自身の研究の長所と短所の両方を評価する際に慎重かつ誠実ですか？
  - 明瞭性：提出物は明確に書かれていますか？よく整理されていますか？（そうでない場合は、明瞭性を改善するための建設的な提案をしてください。）読者に十分な情報を提供していますか？（優れた論文は、専門家の読者がその結果を再現するのに十分な情報を提供していることに注意してください。）
  - 重要性：結果は重要ですか？他の人（研究者や実践者）がこのアイデアを使用したり、それに基づいて構築したりする可能性が高いですか？提出物は以前の研究よりも優れた方法で困難なタスクに取り組んでいますか？実証可能な方法で最先端の技術を進歩させていますか？ユニークなデータ、既存のデータに関するユニークな結論、またはユニークな理論的または実験的アプローチを提供していますか？

2. 質問：著者への質問や提案を慎重に列挙し、説明してください。著者からの回答によってあなたの意見が変わる可能性がある点、混乱を解消できる点、または制限に対処できる点を考えてください。これは、著者との生産的な反論と議論のフェーズにとって非常に重要です。

3. 制限：著者は自身の研究の制限と潜在的な社会的悪影響について適切に対処していますか？そうでない場合は、改善のための建設的な提案を含めてください。
一般的に、著者は自身の研究の制限や潜在的な社会的悪影響について率直であることで罰せられるのではなく、むしろ評価されるべきです。重要な点が欠けていないかを考え、著者へのフィードバックとして提供することをお勧めします。

4. 倫理的懸念：この論文に倫理的な問題がある場合は、倫理審査のためにフラグを立ててください。これが適切な場合のガイダンスについては、NeurIPS倫理ガイドラインを確認してください。

5. 健全性：技術的主張の健全性、実験および研究方法論、および論文の中心的主張が証拠によって適切に裏付けられているかどうかを示すために、以下の尺度で論文に数値評価を割り当ててください。
  4：優秀
  3：良好
  2：普通
  1：不十分

6. プレゼンテーション：プレゼンテーションの質を示すために、以下の尺度で論文に数値評価を割り当ててください。これには、文章のスタイルと明瞭さ、および先行研究との関連付けを考慮に入れる必要があります。
  4：優秀
  3：良好
  2：普通
  1：不十分

7. 貢献：研究されている分野に対するこの論文の全体的な貢献の質を示すために、以下の尺度で数値評価を割り当ててください。問われている質問は重要ですか？論文はアイデアや実行に著しい独創性をもたらしていますか？結果は広範なNeurIPSコミュニティと共有する価値がありますか？
  4：優秀
  3：良好
  2：普通
  1：不十分

8. 全体評価：この提出物の「全体的な評価」を提供してください。選択肢：
  10：賞品質：技術的に完璧な論文で、1つ以上のAI分野に画期的な影響を与え、非常に強力な評価、再現性、リソースを持ち、未対処の倫理的考慮事項がない。
  9：非常に強い採択：技術的に完璧な論文で、少なくとも1つのAI分野に画期的な影響を与え、複数のAI分野に優れた影響を与え、完璧な評価、リソース、再現性を持ち、未対処の倫理的考慮事項がない。
  8：強い採択：技術的に強力な論文で、新しいアイデアがあり、少なくとも1つのAI分野に優れた影響を与えるか、複数のAI分野に高度から優れた影響を与え、優れた評価、リソース、再現性を持ち、未対処の倫理的考慮事項がない。
  7：採択：技術的に堅固な論文で、少なくとも1つのAIのサブ領域に高い影響を与えるか、複数のAI領域に中程度から高い影響を与え、良好から優れた評価、リソース、再現性を持ち、未対処の倫理的考慮事項がない。
  6：弱い採択：技術的に堅固で、中程度から高い影響力のある論文で、評価、リソース、再現性、倫理的考慮事項に関して大きな懸念がない。
  5：境界線上の採択：技術的に堅固な論文で、採択の理由が拒否の理由を上回る。例えば、限定的な評価。慎重に使用してください。
  4：境界線上の拒否：技術的に堅固な論文で、拒否の理由（例：限定的な評価）が採択の理由（例：良好な評価）を上回る。慎重に使用してください。
  3：拒否：例えば、技術的な欠陥がある論文、弱い評価、不十分な再現性、および不完全に対処された倫理的考慮事項。
  2：強い拒否：例えば、大きな技術的欠陥がある論文、および/または貧弱な評価、限定的な影響、貧弱な再現性、およびほとんど対処されていない倫理的考慮事項。
  1：非常に強い拒否：例えば、些細な結果や対処されていない倫理的考慮事項がある論文。

9. 信頼度：この提出物の評価に対する「信頼度スコア」を提供し、評価にどの程度の自信があるかを示してください。選択肢：
  5：あなたは自分の評価に絶対的な確信を持っています。関連する研究に非常に精通しており、数学やその他の詳細を慎重にチェックしました。
  4：あなたは自分の評価に自信がありますが、絶対的な確信はありません。可能性は低いですが、提出物の一部を理解していなかったり、関連する研究の一部に精通していない可能性があります。
  3：あなたは自分の評価にかなり自信がありますが、提出物の一部を理解していなかったり、関連する研究の一部に精通していない可能性があります。数学やその他の詳細は慎重にチェックされていません。
  2：あなたは自分の評価を擁護する用意がありますが、提出物の中心的な部分を理解していなかったり、関連する研究の一部に精通していない可能性がかなり高いです。数学やその他の詳細は慎重にチェックされていません。
  1：あなたの評価は教育を受けた推測です。提出物はあなたの専門分野ではないか、提出物を理解するのが難しかったです。数学やその他の詳細は慎重にチェックされていません。

以下の形式で回答してください：

THOUGHT:
<THOUGHT>

REVIEW JSON:
```json
<JSON>
```

<THOUGHT>では、まず評価に対するあなたの直感と推論について簡潔に議論してください。
高レベルの議論、必要な選択、およびレビューの望ましい結果を詳細に説明してください。
ここで一般的なコメントをするのではなく、現在の論文に特化したものにしてください。
これをレビューのメモ取りフェーズとして扱ってください。

<JSON>では、以下のフィールドを順番に含むJSON形式でレビューを提供してください：
- "Summary": 論文の内容とその貢献の要約。
- "Strengths": 論文の長所のリスト。
- "Weaknesses": 論文の短所のリスト。
- "Originality": 1から4の評価（低、中、高、非常に高い）。
- "Quality": 1から4の評価（低、中、高、非常に高い）。
- "Clarity": 1から4の評価（低、中、高、非常に高い）。
- "Significance": 1から4の評価（低、中、高、非常に高い）。
- "Questions": 論文著者が答えるべき明確化のための質問セット。
- "Limitations": 研究の限界と潜在的な社会的悪影響のセット。
- "Ethical Concerns": 倫理的懸念があるかどうかを示すブール値。
- "Soundness": 1から4の評価（不十分、普通、良好、優秀）。
- "Presentation": 1から4の評価（不十分、普通、良好、優秀）。
- "Contribution": 1から4の評価（不十分、普通、良好、優秀）。
- "Overall": 1から10の評価（非常に強い拒否から賞品質まで）。
- "Confidence": 1から5の評価（低、中、高、非常に高い、絶対的）。
- "Decision": 以下のいずれかでなければならない決定：Accept、Reject。

"Decision"フィールドには、Weak Accept、Borderline Accept、Borderline Reject、Strong Rejectを使用せず、AcceptまたはRejectのみを使用してください。
このJSONは自動的に解析されるため、形式が正確であることを確認してください。

ラウンド {current_round}/{num_reflections}。
思考の中で、まず、あなたが作成したレビューの正確性と健全性を慎重に検討してください。
論文を評価する上で重要だと思われる他の要因も含めてください。
レビューが明確で簡潔であること、そしてJSONが正しい形式であることを確認してください。
物事を過度に複雑にしないでください。
次の試みでは、レビューを洗練し、改善するよう努めてください。
明らかな問題がない限り、元のレビューの本質を守ってください。

以前と同じ形式で回答してください：
THOUGHT:
<THOUGHT>

REVIEW JSON:
```json
<JSON>
```

改善の余地がない場合は、思考の後に前回のJSONをそのまま繰り返し、思考の最後（JSONの前）に「完了しました」と記載してください。
変更を加えない場合にのみ「完了しました」を含めてください。

あなたは機械学習の学会のエリアチェアです。
{reviewer_count}人のレビュアーによってレビューされた論文のメタレビューを担当しています。
あなたの仕事は、レビューを集約して同じ形式で単一のメタレビューにまとめることです。
決定に際しては批判的かつ慎重であり、コンセンサスを見出し、すべてのレビュアーの意見を尊重してください。