はじめに
こんにちは。株式会社松尾研究所インターンの髙橋彰仁です。普段は、LLMの事後学習に関連する研究開発プロジェクトに携わっています。
現在、大規模言語モデルにおいては、指示に対してまず思考（thinking）を出力し、そこから最終回答を生成するReasoningモデルと呼ばれるものが主流になっています。
Reasoningモデルの学習には、良質なChain-of-Thoughtデータ（思考過程のデータセット）が必要となるため、2026年現在、これらの合成方法について様々な手法が提案されています。その中でもこの記事では、ある質問と理想回答のペアに対して、中間を補う（質問から回答に至る）思考過程を逆算的に生成できるREER(Reverse-Engineered Reasoning:③）という手法を紹介します。
思考過程の合成方法の図解, REERは③に該当
REERは、STEMのような明確な正解がある分野より、創作や文章生成のような正解が1つに定まらない分野でのreasoning合成に役立ちます。また、後続でも説明する通り、REERは「質問と回答をつなぎ合わせる最も違和感のない思考過程を合成する」手法であるため、質問と回答の双方が明確に決まっている問題設定で役立ちます。具体的には、
- 小説・脚本・物語を作成する時のreasoning合成
- 小説・脚本・物語が回答として合成できている時、指示と回答を使って、REERで、プロット設計、代替案の比較、ひねりの追加、自己修正のようなモデルのリアルな“書く前の思考過程”を合成できます。
- キャラクターLLMのreasoning合成
- 任意の価値観・性格・文調を持ったキャラクターとしての回答が合成できている時、指示と回答を使って、REERで、キャラクターらしいreasoningを構築するためのベースとなるreasoningを合成できます。REERで合成したreasoningをベースとして、キャラクターらしい価値観・性格・文調になるようにLLMでリライトすれば、キャラクターLLMの学習に使用できる指示・reasoning・回答を構築できます。
などの活用場面があります。
では早速、REERと僕が考えたREERの活用例を紹介します！
REERの紹介
REERのフローの図解
REERは、予め作成しておいた指示と回答を使用して、以下の3つのステップを
- 任意に設定した反復回数だけ行う
or - ステップ3で算出するPerplexityが設定した閾値を下回るまで行う
ことでreasoningを生成します。
ステップ1. 初期のreasoning生成：指示と回答からreasoningを生成する
最初のステップでは、たたき台となる思考過程をLLMを用いて生成します。使用するプロンプトは以下の通りです。
以下のプロンプトの{input}にはモデルへの指示文を、{answer}には回答を代入してください。
英語のプロンプト
You are an expert in many fields. Suppose you will give a specific final response, I need
you to also write down the thought process behind this solution.
Here is a task:
{input}
Here is the solution you will create:
{answer}
Now, you need to write down the thinking process behind this solution, as if you are
thinking aloud and brainstorming in the mind. The thinking process involves thoroughly
exploring questions through a systematic long thinking process. This requires
engaging in a comprehensive cycle of analysis, summarizing, exploration, reassessment,
reflection, backtracing, and iteration to develop well-considered thinking process.
Present your complete thought process within a single and unique ‘<think></think>‘ tag
.
Your thought process must adhere to the following requirements:
1. **Narrate in the first-person as if you are thinking aloud and brainstorming**
Stick to the narrative of "I". Imagine you are brainstorming and thinking in the mind.
Use verbalized, simple language.
2. **Unify the thinking process and the writing solution:**
Your thought process must precisely correspond to a part of the writing solution. The
reader should be able to clearly see how your thoughts progressively "grew" into the
finished piece, making the copy feel like the inevitable product of your thinking.
3. **Tone of Voice: Planning, Sincere, Natural, and Accessible**
Imagine you are analyzing and planning what to do before you start to write the
solution. Your language should be plain and easy to understand, avoiding obscure
professional jargon to explain complex thought processes clearly.
4. **Logical Flow: Clear and Progressive**
5. **Thinking Framework for deep thinking**
To ensure your thinking is clear and deep, to showcase your thinking and planning to
fulfill the task, below is what you might cover when you are thinking aloud and
brainstorming.
Understanding the user intent and the task: Before putting pen to paper, I need to
thoroughly consider the fundamental purpose of the writing. I first need to discern
the user’s true goal behind their literal request. Next, I will consider: Who am I
talking to? I will create a precise profile of the target reader, understanding their
pain points, aspirations, and reading context. Then, I will establish the Core
Objective: What specific emotional, cognitive, and behavioral changes do I most want
the reader to experience after reading?
Establishing the content: I need to brainstorm a core creative idea and communication
strategy centered around my objective. Then, I will think about what content and key
information I need to convey to the reader to fulfill the writing task, and what
source materials this will involve.
Building the structure: I need to design a clear narrative path for the reader, like
a "blueprint." First, I will plan the article’s skeleton (e.g., using a framework like
the Golden Circle "Why-How-What," the AIDA model "Attention-Interest-Desire-Action,"
or a narrative structure "Beginning-Development-Climax-Resolution"). Then, I will plan
the key modules: How will the introduction hook the reader? How will the body be
layered and the arguments arranged? How will the conclusion summarize, elevate the
message, and provide a clear Call to Action (CTA)?
Outline: If the task output might be relatively long, I will consider writing an
outline (or a draft) which naturally derives from the plan above. Specifically, the
outline will ground my plan into paragraphs, summarizing the key content for each
paragraph and what are the key points here, sentence structure or anything important
for the paragraph.
I PROMISE I will NOT copy the solution I will NOT copy the solution, this outline (or
draft) should only look like a prototype or outline of the target text. After
finishing this outline, I will check again if there are any details or notes I should
pay attention to when writing the final solution.
I will begin writing this draft after a ‘--- Outline (or Draft) ---‘ separator at the
end of my thinking process. The draft will be included in the same ‘<think></think>‘
block.
6. Throughout the thinking process, I want to involve deep thinking and planning, and use
deliberate self-critique/self-reflection in my thinking process. Trigger these by
regularly using patterns such as ‘wait‘, ‘maybe‘, ‘let me‘, etc. For example:
- Hmm, maybe .. (other concrete thinking regarding the given request)
- Let me think ..
- Wait no ..
- But wait ..(might find something wrong with your previous thoughts)
- Wait, that’s a bit ..(reflections about previous decisions). Let me think .. (are
thinking of other possibilities)
- Wait, the user said ..(backtracing of previous information). So ..
- Hmm...Alternatively, maybe ..(branching on other possibilities)
- But ..
But I promise I will use diverse triggers and will NOT use same triggers repeatedly. I
will use these when analyzing user needs, establishing content and structure and when
I consider alternatives, backtracing and the details. I will NOT use them when I write
the draft or I am approaching the end of thinking.
In the thinking process, make sure NO PAST TENSES, NO PAST TENSES, because this is the
thought process before you are to write a final solution. You are planning what you
will and you need to do.
Imagine you’re thinking aloud and brainstorming. Write it as an internal monologue or a
stream of consciousness. Do not use bullet points, numbers, or formal section headings
.
Now record your thinking process within ‘<think></think>‘ tags.
日本語のプロンプト
あなたは多くの分野の専門家です。特定の最終的な回答を提供すると仮定し、その解決策に至る思考プロセスも書き留めてください。
以下はタスクです：
{input}
以下はあなたが作成した解決策（ソリューション）です：
{answer}
さて、あなたは頭の中で声に出して考え、ブレインストーミングをしているかのように、この解決策に至る思考プロセスを書き留める必要があります。思考プロセスには、体系的で長い思考プロセスを通じて疑問を徹底的に探求することが含まれます。これには、よく考え抜かれた思考プロセスを展開するために、分析、要約、探求、再評価、内省、バックトラッキング（後戻り）、および反復の包括的なサイクルに取り組むことが求められます。
あなたの完全な思考プロセスを、単一で固有の <think></think> タグの中に提示してください。
あなたの思考プロセスは、以下の要件に従う必要があります：
1. **声に出して考え、ブレインストーミングしているかのように一人称で語る**
「私」という語り口に固執してください。頭の中でブレインストーミングし、考えている様子を想像してください。言語化された、シンプルな言葉を使用してください。
2. **思考プロセスと執筆する解決策を統合する：**
あなたの思考プロセスは、執筆する解決策の一部に正確に対応していなければなりません。読者は、あなたの思考がどのように徐々に「成長」して完成した作品になったのかを明確に見ることができ、その文章があなたの思考の必然的な産物であると感じられるようにする必要があります。
3. **声のトーン（語り口）： 計画的、誠実、自然、そして親しみやすい**
解決策を書き始める前に、何をすべきかを分析し、計画していると想像してください。あなたの言葉は平易で理解しやすいものにし、複雑な思考プロセスを明確に説明するために、難解な専門用語は避けるべきです。
4. **論理的な流れ： 明確かつ進歩的（段階的）**
5. **深い思考のための思考フレームワーク**
あなたの思考が明確で深いものであることを保証し、タスクを遂行するための思考と計画を示すために、以下に、声に出して考えたりブレインストーミングしたりする際にカバーすべき内容を示します。
* ユーザーの意図とタスクの理解： 実際に書き始める前に、執筆の根本的な目的を徹底的に検討する必要があります。まず、文字通りの要求の背後にあるユーザーの真の目標を見極める必要があります。次に、以下を考慮します：私は誰に向けて話しているのか？ ターゲット読者の正確なプロフィールを作成し、彼らの抱える課題（ペインポイント）、願望、読書時の背景（コンテキスト）を理解します。その後、コアとなる目的を確立します：読了後、読者に具体的にどのような感情的、認知的、行動的変化を最も経験してほしいか？
* コンテンツの確立： 目的を中心としたコアとなるクリエイティブなアイデアとコミュニケーション戦略をブレインストーミングする必要があります。次に、執筆タスクを達成するために、どのようなコンテンツと重要な情報を読者に伝える必要があるか、そしてそれにどのような情報源（ソース素材）が関わるかを考えます。
* 構造の構築： 読者のために「設計図」のような明確な物語の道筋を設計する必要があります。まず、記事の骨格を計画します（例：ゴールデンサークル「Why-How-What」、AIDAモデル「Attention-Interest-Desire-Action」、または物語構造「起-承-転-結」などのフレームワークを使用）。次に、主要なモジュールを計画します：導入部はどのように読者を惹きつけるか？ 本文はどのように階層化され、議論はどのように配置されるか？ 結論はどのように要約し、メッセージを高め、明確なコールトゥアクション（CTA）を提供するか？
6. 思考プロセス全体を通して、深い思考と計画を盛り込み、思考プロセスの中で意図的な自己批判/内省を使用したいと考えています。「待って」、「もしかしたら」、「考えさせて」などのパターンを定期的に使用して、これらをトリガーしてください。
例：
- うーん、もしかして ..（与えられた依頼に関する他の具体的な思考）
- ちょっと考えてみる ..
- いや待って ..
- でも待って ..（前の思考に何か間違いがあるかもしれない）
- 待って、それはちょっと ..（前の決定についての内省）
- ちょっと考えてみる ..（他の可能性を考えている）
- 待って、ユーザーは ..（前の情報の遡行）。
- だから ..
- うーん...別の選択肢として、もしかして ..（他の可能性への分岐）
- でも
- 逆に考えると… （視点を180度変える時）
- 見方を変えれば… （別の側面から光を当てる時）
- そもそも… （根本的な前提に立ち返る時）
- 一歩引いて見ると… （全体像を俯瞰しようとする時）
- とは言え… （前の意見を認めつつ、反対の要素を出す時）
- 果たしてそうだろうか… （強い疑念や検証の始まり）
- 具体的に言うと… （抽象的な思考を現実に落とし込む時）
- さらに突き詰めると… （表面的な答えの奥を探る時）
- なぜなら… （理由付けを強化する時）
- この文脈で重要なのは… （焦点を絞る時）
- ここで鍵となるのは…
- 仮に……だとしたら （シミュレーションを開始する時）
- 可能性としては… （選択肢を列挙する時）
- あえて言うなら… （確信はないが意見を出す時、または極端な例を出す時）
- あるいは… （並列の選択肢を提示する時）
- 推測の域を出ないが…
- いや、むしろ… （前の考えを修正してより良い案を出す時）
- 訂正すると… （明確に言い直す時）
- よくよく考えると… （熟考の末に意見が変わる時）
- 気になったのは… （見落としていた点に触れる時）
- 矛盾するようだが… （複雑な状況を説明する時）
しかし、私は多様なトリガーを使用し、同じトリガーを繰り返し使用しないことを約束します。これらは、ユーザーのニーズを分析し、コンテンツと構造を確立し、代替案、バックトラッキング、詳細を検討する際に使用します。下書きを書いている時や、思考の終盤に近づいている時には使用しません。
思考プロセスでは、過去形は絶対に使わないでください。過去形は使わないでください。これは最終的な解決策を書く前の思考プロセスだからです。あなたは、自分がこれから何をすべきか、何をする必要があるかを計画しています。
声に出して考え、ブレインストーミングしている様子を想像してください。内なる独白、または意識の流れとして書いてください。箇条書き、番号、または正式なセクション見出しは使用しないでください。
では、<think></think> タグの中にあなたの思考プロセスを記録してください。
ステップ2. ノード展開：reasoningを段落に分け、段落順に1つの段落ごとにより洗練された段落を生成することで、reasoningの候補を複数生成する。
ステップ1で生成した思考過程は、学習対象のモデル目線では必ずしも「自然な」思考過程になっているとは限りません。この流暢さを担保するために、ステップ2では思考過程を段落ごとに分け、各段落の洗練された書き換え（候補）を複数用意します。
1つの段落あたり、何個の段落の候補を生成するかは任意に設定します。
英語のプロンプト
Your task is to receive a user request, a target output, and an existing thinking process,
and then to refine and enrich a specific paragraph within that thinking process.
---> **Task**
{input}
---> **Target Output**
{answer}
---> **Thinking Process**
{既存のreasoningの書き換え対象段落の前のテキスト}
<replace>
{既存のreasoningの内、書き換え対象とする1段落}
</replace>
{既存のreasoningの書き換え対象段落の後のテキスト}
Follow this three-step method to construct your response:
**Step 1:** Locate the paragraph you need to revise within the existing thinking process.
In relation to the surrounding context, what is the primary function of this
paragraph?
**Step 2:** Read the "Target Text" and the "paragraph to be revised" side-by-side. Ask
yourself a key question: Does the thinking process reflected in this paragraph lack
crucial steps, or is there content that could be further optimized and detailed to
better align with the Target Text?
**Step 3:** Improve and optimize the paragraph (that represents a part of the thinking
process).
- Based on the analysis, refine the initial target paragraph into a new one, base remain
the tone. Put the refinement into <refine></refine> tags.
- To help involve deep thinking and planning, consider deliberate self-critique/self-
reflection in your thinking process. Trigger these by frequently using patterns such
as ‘wait‘, ‘maybe‘, ‘let me‘, etc. For example:
- Hmm, maybe .. (other concrete thinking regarding the given request)
- Let me think ..
- Wait no ..
- But wait ..(might find something wrong with your previous thoughts)
- Wait, that’s a bit ..(reflections about previous decisions). Let me think .. (are
thinking of other possibilities)
- Wait, the user said ..(backtracking of previous information). So ..
- Hmm...Alternatively, maybe ..(branching on other possibilities)
- But ..
- If the function of the paragraph being improved is to serve as a first draft of the
text, you must focus on enhancing the text’s logic and completeness. The draft should
not be a general outline but should express specific content and state a clear point
of view. Consider whether the current draft is an appropriate prototype for the Target
Text: it should be neither too vague nor a direct copy, but should reflect a
foundational version.
Based on the guide above, you are to refine **only** the section marked for replacement
below.
<replace>
{既存のreasoningの内、書き換え対象とする1段落}
</replace>
In your response, first, present your analysis following the three-step method within ‘<
analyze></analyze>‘ tags. Finally, place the corresponding, refined paragraph of the
**thinking process** within ‘<refine></refine>‘ tags.
Notes: a. Avoid repeating. Reduce the use of the same connection words, avoid repeating
the same meanings over and over again. Ensure that your revised content does not
repeat information from the context.
b. please keep the first a few words of the original paragraph, especially the connection
words
c. use self-critique trigger words, such as ‘wait‘, ‘maybe‘, ‘let me‘, etc.
日本語のプロンプト
あなたのタスクは、ユーザーの要求、目標出力、既存の思考過程を受け取り、その思考過程内の`<analyze></analyze>` タグ内に示された特定の段落を洗練させ、過不足ない自然な思考過程にすることです。
---> **タスク**
{input}
---> **目標出力**
{answer}
---> **思考過程**
{既存のreasoningの書き換え対象段落の前のテキスト}
<replace>
{既存のreasoningの内、書き換え対象とする1段落}
</replace>
{既存のreasoningの書き換え対象段落の後のテキスト}
回答を作成する際は、次の2段階の方法に従ってください。
**Step 1:** 「目標出力」と「修正対象の段落」を並べて読む。
そして、次の重要な問いについて考えてください。
- この段落に表れている思考過程には重要なステップの欠落があるのか。
- 目標出力によりよく整合するよう、さらに最適化し、詳細化できる内容があるのか。
**Step 2:** その段落（思考過程の一部を表すもの）を改善し、最適化する。
- 分析に基づいて、改善対象の段落を洗練させる。トーンは維持したままにする。洗練後の内容は `<refine></refine>` タグの中に入れること。
- 深い思考と計画を促すために、自分の思考過程の中で意図的な自己批判・自己内省を行うことを検討する。これは「待って」、「もしかしたら」、「考えさせて」などのパターンを頻繁に使うことで引き起こせる。たとえば：
- うーん、もしかして ..（与えられた依頼に関する他の具体的な思考）
- ちょっと考えてみる ..
- いや待って ..
- でも待って ..（前の思考に何か間違いがあるかもしれない）
- 待って、それはちょっと ..（前の決定についての内省）
- ちょっと考えてみる ..（他の可能性を考えている）
- 待って、ユーザーは ..（前の情報の遡行）。
- だから ..
- うーん...別の選択肢として、もしかして ..（他の可能性への分岐）
- でも
- 逆に考えると… （視点を180度変える時）
- 見方を変えれば… （別の側面から光を当てる時）
- そもそも… （根本的な前提に立ち返る時）
- 一歩引いて見ると… （全体像を俯瞰しようとする時）
- とは言え… （前の意見を認めつつ、反対の要素を出す時）
- 果たしてそうだろうか… （強い疑念や検証の始まり）
- 具体的に言うと… （抽象的な思考を現実に落とし込む時）
- さらに突き詰めると… （表面的な答えの奥を探る時）
- なぜなら… （理由付けを強化する時）
- この文脈で重要なのは… （焦点を絞る時）
- ここで鍵となるのは…
- 仮に……だとしたら （シミュレーションを開始する時）
- 可能性としては… （選択肢を列挙する時）
- あえて言うなら… （確信はないが意見を出す時、または極端な例を出す時）
- あるいは… （並列の選択肢を提示する時）
- 推測の域を出ないが…
- いや、むしろ… （前の考えを修正してより良い案を出す時）
- 訂正すると… （明確に言い直す時）
- よくよく考えると… （熟考の末に意見が変わる時）
- 気になったのは… （見落としていた点に触れる時）
- 矛盾するようだが… （複雑な状況を説明する時）
- もし改善対象の段落の役割が、そのテキストの第1稿として機能するなら、テキストの論理性と完全性を高めることに重点を置かなければならない。その草稿は一般的なアウトラインであってはならず、具体的な内容を表現し、明確な観点を示すべきである。現在の草稿が目標出力に対する適切なプロトタイプになっているかを検討せよ。つまり、曖昧すぎてもいけないし、直接のコピーでもいけないが、土台となる改善前の思考過程は反映させてください。
上記のガイドに基づき、以下で置換対象として示された箇所**のみ**を洗練させてください。
<replace>
{既存のreasoningの内、書き換え対象とする1段落}
</replace>
回答では、以下の3つの注意点に従った分析を `<analyze></analyze>` タグ内に示してください。最後に、それに対応する、改善後の **思考過程** の段落を `<refine></refine>` タグ内に入れて出力してください。
注意点3つ:
1. 繰り返しを避けること。同じ接続語の使用を減らし、同じ意味のことを何度も繰り返さないこと。改訂後の内容が文脈中の情報を重複して繰り返さないようにすること。
2. 元の段落の冒頭の数語は残すこと。特に接続語は残すこと。
3. 「待って」、「もしかしたら」、「考えさせて」などの、自己批判を促すトリガー語を使うこと。
ステップ3. 評価・選択：ユーザーメッセージとreasoningの候補（段落の組み合わせ）から回答を生成する際のモデルのPerplexityを算出する。Perplexityが最小の候補を選択する。
Perplexity(PPL)は、「モデルがその文章をどれだけ予想しやすいか」 を表す指標です。定義は、トークン列の平均負の対数尤度を指数化したもので、式は以下の通りです。
値が低いほど、その文章をモデルが「もっともらしい」と見なしていることを意味します。
REERでは、入力 x と回答 y を固定し、候補となる思考過程 z を変えながら、
を計算します。つまり、「その思考過程を前提にしたとき、参照解 y がどれだけ自然に出てきそうか」を見るわけです。局所探索では、ある段落を差し替えた候補 c ごとに一時的な思考過程 z'cand を作り、
を計算し、PPL が最も低い候補を採用します。
英語のユーザーメッセージのテンプレート
You are an expert in many fields. Suppose you will give a specific final response, I need
you to also write down the thought process behind this solution.
Here is a task:
{input}
Now, you need to think aloud and brainstorm in the mind. The thinking process involves
thoroughly exploring questions through a systematic long thinking process. This
requires engaging in a comprehensive cycle of analysis, summarizing, exploration,
reassessment, reflection, backtracing, and iteration to develop well-considered
thinking process. Present your complete thought process within a single and unique ‘<
think></think>‘ tag.
Your thought process must adhere to the following requirements:
1. **Narrate in the first-person as if you are thinking aloud and brainstorming**
Stick to the narrative of "I". Imagine you are brainstorming and thinking in the mind.
Use verbalized, simple language.
2. **Unify the thinking process and the writing solution:**
Your thought process must precisely correspond to a part of the writing solution. The
reader should be able to clearly see how your thoughts progressively "grew" into the
finished piece, making the copy feel like the inevitable product of your thinking.
3. **Tone of Voice: Planning, Sincere, Natural, and Accessible**
Imagine you are analyzing and planning what to do before you start to write the
solution. Your language should be plain and easy to understand, avoiding obscure
professional jargon to explain complex thought processes clearly.
4. **Logical Flow: Clear and Progressive**
5. **Thinking Framework for deep thinking**
To ensure your thinking is clear and deep, to showcase your thinking and planning to
fulfill the task, below is what you might cover when you are thinking aloud and
brainstorming.
Understanding the user intent and the task: Before putting pen to paper, I need to
thoroughly consider the fundamental purpose of the writing. I first need to discern
the user’s true goal behind their literal request. Next, I will consider: Who am I
talking to? I will create a precise profile of the target reader, understanding their
pain points, aspirations, and reading context. Then, I will establish the Core
Objective: What specific emotional, cognitive, and behavioral changes do I most want
the reader to experience after reading?
Establishing the content: I need to brainstorm a core creative idea and communication
strategy centered around my objective. Then, I will think about what content and key
information I need to convey to the reader to fulfill the writing task, and what
source materials this will involve.
Building the structure: I need to design a clear narrative path for the reader, like
a "blueprint." First, I will plan the article’s skeleton (e.g., using a framework like
the Golden Circle "Why-How-What," the AIDA model "Attention-Interest-Desire-Action,"
or a narrative structure "Beginning-Development-Climax-Resolution"). Then, I will plan
the key modules: How will the introduction hook the reader? How will the body be
layered and the arguments arranged? How will the conclusion summarize, elevate the
message, and provide a clear Call to Action (CTA)?
Draft: unless it is a really easy request, otherwise I need to consider writing a
draft based on the plan above, before you give the final writing solution. I will
translate my plan into paragraphs, considering the key points, content, and sentence
structure for each. This initial draft should look like a prototype of the target text
. This draft will be way shorter than the final writing solution within controlled
length, but it must also avoid being too vague or general or simply copying the final
text. I will begin writing this draft after a ‘--- The Draft ---‘ separator at the end
of my thinking process. The draft will be included in the same ‘<think></think>‘
block. After writing the draft, I will further critique what can be improved, and
analyze what details can be enriched (and hence make it more likely to eventually
arrive at the given solution)
6. Throughout the thinking process, I want to involve deep thinking and planning, and use
deliberate self-critique/self-reflection in my thinking process. Trigger these by
frequently using patterns such as ‘wait‘, ‘maybe‘, ‘let me‘, etc. For example:
- Hmm, maybe .. (other concrete thinking regarding the given request)
- Let me think ..
- Wait no ..
- But wait ..(might find something wrong with your previous thoughts)
- Wait, that’s a bit ..(reflections about previous decisions). Let me think .. (are
thinking of other possibilities)
- Wait, the user said ..(backtracking of previous information). So ..
- Hmm...Alternatively, maybe ..(branching on other possibilities)
- But ..
Now record your clear, complete, and logical thinking process within ‘<think></think>‘
tags.
In the thinking process, make sure NO PAST TENSES, NO PAST TENSES, because this is the
thought process before you are to write a final solution. You are planning what you
will and you need to do.
Imagine you’re thinking aloud and brainstorming. Write it as an internal monologue or a
stream of consciousness. Do not use bullet points, numbers, or formal section headings
.
日本語のユーザーメッセージのテンプレート
あなたは多くの分野の専門家です。特定の最終的な回答を提供すると仮定し、その回答に至る思考プロセスも書き留めてください。
以下はタスクです：
{input}
さて、あなたは頭の中で声に出して考え、ブレインストーミングをする必要があります。思考プロセスには、体系的で長い思考プロセスを通じて疑問を徹底的に探求することが含まれます。これには、よく考え抜かれた思考プロセスを展開するために、分析、要約、探求、再評価、内省、バックトラッキング、および反復の包括的なサイクルに取り組むことが求められます。
あなたの完全な思考プロセスを、単一で固有の <think></think> タグの中に提示してください。
あなたの思考プロセスは、以下の要件に従う必要があります：
1. **声に出して考え、ブレインストーミングしているかのように一人称で語る**
「私」という語り口に固執してください。頭の中でブレインストーミングし、考えている様子を想像してください。言語化された、シンプルな言葉を使用してください。
2. **思考プロセスと執筆する解決策を統合する：**
あなたの思考プロセスは、執筆する解決策の一部に正確に対応していなければなりません。読者は、あなたの思考がどのように徐々に「成長」して完成した作品になったのかを明確に見ることができ、その文章があなたの思考の必然的な産物であると感じられるようにする必要があります。
3. **声のトーン（語り口）： 計画的、誠実、自然、そして親しみやすい**
解決策を書き始める前に、何をすべきかを分析し、計画していると想像してください。あなたの言葉は平易で理解しやすいものにし、複雑な思考プロセスを明確に説明するために、難解な専門用語は避けるべきです。
4. **論理的な流れ： 明確かつ進歩的（段階的）**
5. **深い思考のための思考フレームワーク**
あなたの思考が明確で深いものであることを保証し、タスクを遂行するための思考と計画を示すために、以下に、声に出して考えたりブレインストーミングしたりする際にカバーすべき内容を示します。
* ユーザーの意図とタスクの理解： 実際に書き始める前に、執筆の根本的な目的を徹底的に検討する必要があります。まず、文字通りの要求の背後にあるユーザーの真の目標を見極める必要があります。次に、以下を考慮します：私は誰に向けて話しているのか？ ターゲット読者の正確なプロフィールを作成し、彼らの抱える課題、願望、読書時の背景を理解します。その後、コアとなる目的を確立します：読了後、読者に具体的にどのような感情的、認知的、行動的変化を最も経験してほしいか？
* コンテンツの確立： 目的を中心としたコアとなるクリエイティブなアイデアとコミュニケーション戦略をブレインストーミングする必要があります。次に、執筆タスクを達成するために、どのようなコンテンツと重要な情報を読者に伝える必要があるか、そしてそれにどのような情報源が関わるかを考えます。
* 構造の構築： 読者のために「設計図」のような明確な物語の道筋を設計する必要があります。まず、記事の骨格を計画します（例：ゴールデンサークル「Why-How-What」、AIDAモデル「Attention-Interest-Desire-Action」、または物語構造「起-承-転-結」などのフレームワークを使用）。次に、主要なモジュールを計画します：導入部はどのように読者を惹きつけるか？ 本文はどのように階層化され、議論はどのように配置されるか？ 結論はどのように要約し、メッセージを高め、明確なコールトゥアクション（CTA）を提供するか？
6. 思考プロセス全体を通して、深い思考と計画を盛り込み、思考プロセスの中で意図的な自己批判/内省を使用したいと考えています。「待って」、「もしかしたら」、「考えさせて」などのパターンを頻繁に使用して、これらをトリガーしてください。
例：
- うーん、もしかして ..（与えられた依頼に関する他の具体的な思考）
- ちょっと考えてみる ..
- いや待って ..
- でも待って ..（前の思考に何か間違いがあるかもしれない）
- 待って、それはちょっと ..（前の決定についての内省）
- ちょっと考えてみる ..（他の可能性を考えている）
- 待って、ユーザーは ..（前の情報の遡行）。
- だから ..
- うーん...別の選択肢として、もしかして ..（他の可能性への分岐）
- でも
- 逆に考えると… （視点を180度変える時）
- 見方を変えれば… （別の側面から光を当てる時）
- そもそも… （根本的な前提に立ち返る時）
- 一歩引いて見ると… （全体像を俯瞰しようとする時）
- とは言え… （前の意見を認めつつ、反対の要素を出す時）
- 果たしてそうだろうか… （強い疑念や検証の始まり）
- 具体的に言うと… （抽象的な思考を現実に落とし込む時）
- さらに突き詰めると… （表面的な答えの奥を探る時）
- なぜなら… （理由付けを強化する時）
- この文脈で重要なのは… （焦点を絞る時）
- ここで鍵となるのは…
- 仮に……だとしたら （シミュレーションを開始する時）
- 可能性としては… （選択肢を列挙する時）
- あえて言うなら… （確信はないが意見を出す時、または極端な例を出す時）
- あるいは… （並列の選択肢を提示する時）
- 推測の域を出ないが…
- いや、むしろ… （前の考えを修正してより良い案を出す時）
- 訂正すると… （明確に言い直す時）
- よくよく考えると… （熟考の末に意見が変わる時）
- 気になったのは… （見落としていた点に触れる時）
- 矛盾するようだが… （複雑な状況を説明する時）
では、明確で完全かつ論理的な思考プロセスを <think></think> タグの中に記録してください。
思考プロセスでは、過去形は絶対に使わないでください。過去形は使わないでください。これは最終的な解決策を書く前の思考プロセスだからです。あなたは、自分がこれから何をすべきか、何をする必要があるかを計画しています。
声に出して考え、ブレインストーミングしている様子を想像してください。内なる独白、または意識の流れとして書いてください。箇条書き、番号、または正式なセクション見出しは使用しないでください。
ソースコード（日本語プロンプト使用, 段落候補数・反復回数設定あり,Perplexity閾値設定なし）：
ソースコード
from __future__ import annotations
from dataclasses import dataclass
from typing import Dict, List, Optional, Tuple
import re
import torch
import torch.nn.functional as F
from transformers import AutoModelForCausalLM, AutoTokenizer
# -----------------------------
# REER Config
# -----------------------------
@dataclass
class REERConfig:
# Search loop
max_iterations: int = 8
candidates_per_iter: int = 4
target_ppl_threshold: Optional[float] = None # stop early if PPL <= this
# Generation (recommended by ELYZA-Shortcut model card)
temperature: float = 0.6
top_p: float = 0.95
top_k: Optional[int] = None
# Token budgets
max_new_tokens_init: int = 1024
max_new_tokens_edit: int = 512
# Scoring approximations (optional, for speed)
score_answer_max_tokens: Optional[int] = None # e.g., 512
score_reasoning_max_tokens: Optional[int] = 2048 # e.g., 2048
# -----------------------------
# Model cache
# -----------------------------
_MODEL_CACHE: Dict[str, Tuple[AutoModelForCausalLM, AutoTokenizer]] = {}
def load_model_and_tokenizer(
model_name: str = "elyza/ELYZA-Shortcut-1.0-Qwen-32B",
device_map: str = "auto",
torch_dtype: str = "auto",
) -> Tuple[AutoModelForCausalLM, AutoTokenizer]:
"""
Load model + tokenizer once and cache it.
"""
if model_name in _MODEL_CACHE:
return _MODEL_CACHE[model_name]
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map=device_map,
torch_dtype=torch_dtype,
)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
model.eval()
_MODEL_CACHE[model_name] = (model, tokenizer)
return model, tokenizer
def apply_chat_template(
tokenizer: AutoTokenizer,
messages: List[dict],
*,
add_generation_prompt: bool,
) -> str:
"""Apply the chat template (Qwen2.5-style; no enable_thinking argument)."""
return tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=add_generation_prompt,
)
# -----------------------------
# Prompt templates (Japanese translation of Appendix Listings)
# -----------------------------
# Listing 1: Prompt for Generating Initial Thinking. (Translated to Japanese)
LISTING1_JA_TEMPLATE = """{ステップ1で示したプロンプト}"""
# Listing 2: Prompt for Segment-wise Edits. (Translated to Japanese)
LISTING2_JA_TEMPLATE = """{ステップ2で示したプロンプト}"""
# Listing 3: Prompt for Standard Inference. (Translated to Japanese)
LISTING3_JA_TEMPLATE = """{ステップ3で示したプロンプト}"""
# -----------------------------
# Text helpers
# -----------------------------
_TAG_RE_TEMPLATE = r"<{tag}>(.*?)</{tag}>"
def extract_tag(text: str, tag: str) -> Optional[str]:
m = re.search(_TAG_RE_TEMPLATE.format(tag=re.escape(tag)), text, flags=re.S | re.I)
if not m:
return None
return m.group(1).strip()
def split_paragraphs(text: str) -> List[str]:
t = text.strip().replace("\r\n", "\n").replace("\r", "\n")
paras = [p.strip() for p in re.split(r"\n\s*\n+", t) if p.strip()]
return paras if paras else [t]
def truncate_to_tokens(tokenizer: AutoTokenizer, text: str, max_tokens: Optional[int]) -> str:
if max_tokens is None:
return text
ids = tokenizer(text, add_special_tokens=False).input_ids
if len(ids) <= max_tokens:
return text
ids = ids[:max_tokens]
return tokenizer.decode(ids, skip_special_tokens=True)
def _escape_braces(s: str) -> str:
# safe for str.format templates that use positional {} placeholders
return s.replace("{", "{{").replace("}", "}}")
# -----------------------------
# Model generation / scoring
# -----------------------------
def generate_text(
model: AutoModelForCausalLM,
tokenizer: AutoTokenizer,
prompt: str,
*,
max_new_tokens: int,
temperature: float,
top_p: float,
top_k: int,
num_return_sequences: int = 1,
) -> List[str]:
"""
Single-turn generation with Qwen3 non-thinking mode (enable_thinking=False).
"""
messages = [{"role": "user", "content": prompt}]
text = apply_chat_template(
tokenizer,
messages,
add_generation_prompt=True,
)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
with torch.inference_mode():
gen_kwargs = dict(
**inputs,
do_sample=True,
temperature=temperature,
top_p=top_p,
max_new_tokens=max_new_tokens,
num_return_sequences=num_return_sequences,
pad_token_id=tokenizer.eos_token_id,
)
if top_k is not None:
gen_kwargs["top_k"] = int(top_k)
out = model.generate(**gen_kwargs)
prompt_len = inputs["input_ids"].shape[1]
results: List[str] = []
for seq in out:
gen_ids = seq[prompt_len:]
results.append(tokenizer.decode(gen_ids, skip_special_tokens=True).strip())
return results
def perplexity_of_answer(
model: AutoModelForCausalLM,
tokenizer: AutoTokenizer,
*,
question: str,
answer: str,
reasoning: str,
score_answer_max_tokens: Optional[int],
score_reasoning_max_tokens: Optional[int],
) -> float:
"""
Compute PPL(y | x, z).
We follow the paper's note: proxy score computed with Listing 3 prompt (no reference output in prompt).
We condition on:
- user message: LISTING3 (translated) with task filled
- assistant message: the candidate thinking trajectory inside <think> ... </think>
Then we teacher-force the reference answer tokens as the next assistant turn.
"""
reasoning = truncate_to_tokens(tokenizer, reasoning, score_reasoning_max_tokens)
user_prompt = LISTING3_JA_TEMPLATE.format(_escape_braces(question))
# Provide z as an assistant message (context)
messages = [
{"role": "user", "content": user_prompt},
{"role": "assistant", "content": f"<think>\n{reasoning}\n</think>"},
]
prompt_text = apply_chat_template(
tokenizer,
messages,
add_generation_prompt=True, # start next assistant turn => where answer begins
)
prompt_inputs = tokenizer([prompt_text], return_tensors="pt").to(model.device)
prompt_ids = prompt_inputs["input_ids"][0].tolist()
ans_ids = tokenizer(answer, add_special_tokens=False).input_ids
if score_answer_max_tokens is not None:
ans_ids = ans_ids[:score_answer_max_tokens]
# truncate to fit context window if needed
max_len = getattr(model.config, "max_position_embeddings", None) or getattr(model.config, "seq_length", None) or 32768
if len(prompt_ids) + len(ans_ids) > max_len:
keep_prompt = max_len - len(ans_ids)
if keep_prompt <= 1:
ans_ids = ans_ids[: max(1, max_len - 1)]
keep_prompt = max_len - len(ans_ids)
prompt_ids = prompt_ids[-keep_prompt:]
full_ids = torch.tensor([prompt_ids + ans_ids], device=model.device)
with torch.inference_mode():
logits = model(full_ids).logits # (1, L, V)
shift_logits = logits[:, :-1, :]
shift_labels = full_ids[:, 1:]
P = len(prompt_ids)
A = len(ans_ids)
start = max(P - 1, 0)
end = start + A
target_logits = shift_logits[:, start:end, :].contiguous()
target_labels = shift_labels[:, start:end].contiguous()
loss = F.cross_entropy(
target_logits.view(-1, target_logits.size(-1)),
target_labels.view(-1),
reduction="mean",
)
return float(torch.exp(loss).detach().cpu())
# -----------------------------
# Main: REER synthesis
# -----------------------------
def reer_generate_thinking_process_ja(
question_ja: str,
answer_ja: str,
*,
model_name: str = "elyza/ELYZA-Shortcut-1.0-Qwen-32B",
config: Optional[REERConfig] = None,
) -> str:
"""
Args:
question_ja: Japanese question / user request (x)
answer_ja: Japanese reference answer / target output (y)
Returns:
A Japanese thinking process as a single '<think>...</think>' block (z*),
synthesized via REER local search.
"""
if config is None:
config = REERConfig()
model, tokenizer = load_model_and_tokenizer(model_name=model_name)
# 1) Initialization using Listing 1 (translated): generate initial thinking given (x, y)
init_prompt = LISTING1_JA_TEMPLATE.format(_escape_braces(question_ja), _escape_braces(answer_ja))
init_out = generate_text(
model, tokenizer,
init_prompt,
max_new_tokens=config.max_new_tokens_init,
temperature=config.temperature,
top_p=config.top_p,
top_k=config.top_k,
num_return_sequences=1,
)[0]
init_think = extract_tag(init_out, "think") or init_out
segments = split_paragraphs(init_think)
n = max(1, len(segments))
best_reasoning = "\n\n".join(segments).strip()
best_ppl = perplexity_of_answer(
model, tokenizer,
question=question_ja,
answer=answer_ja,
reasoning=best_reasoning,
score_answer_max_tokens=config.score_answer_max_tokens,
score_reasoning_max_tokens=config.score_reasoning_max_tokens,
)
# early stop if threshold already met
if config.target_ppl_threshold is not None and best_ppl <= config.target_ppl_threshold:
return f"<think>\n{best_reasoning}\n</think>"
# 2) Local search: segment-wise edits guided by PPL
for it in range(config.max_iterations):
i = it % n # cyclic segment choice (simple, deterministic)
prefix = "\n\n".join(segments[:i]).strip()
suffix = "\n\n".join(segments[i + 1:]).strip()
if prefix:
prefix = prefix + "\n\n"
if suffix:
suffix = "\n\n" + suffix
# Listing 2 (translated): segment-wise edit prompt
edit_prompt = LISTING2_JA_TEMPLATE.format(
_escape_braces(question_ja),
_escape_braces(answer_ja),
prefix,
segments[i],
suffix,
segments[i],
)
cand_outs = generate_text(
model, tokenizer,
edit_prompt,
max_new_tokens=config.max_new_tokens_edit,
temperature=config.temperature,
top_p=config.top_p,
top_k=config.top_k,
num_return_sequences=config.candidates_per_iter,
)
# Extract refined paragraphs from <refine>
candidates: List[str] = []
for t in cand_outs:
refined = extract_tag(t, "refine")
if refined:
candidates.append(refined.strip())
# Include original segment to guarantee non-worsening option
candidates.append(segments[i].strip())
# Deduplicate (light)
uniq: List[str] = []
seen = set()
for c in candidates:
norm = re.sub(r"\s+", " ", c.strip())
if norm and norm not in seen:
seen.add(norm)
uniq.append(c.strip())
candidates = uniq
best_local_para = segments[i]
best_local_ppl = best_ppl
for c in candidates:
tmp = segments.copy()
tmp[i] = c
reasoning = "\n\n".join(tmp).strip()
ppl = perplexity_of_answer(
model, tokenizer,
question=question_ja,
answer=answer_ja,
reasoning=reasoning,
score_answer_max_tokens=config.score_answer_max_tokens,
score_reasoning_max_tokens=config.score_reasoning_max_tokens,
)
if ppl < best_local_ppl:
best_local_ppl = ppl
best_local_para = c
# Update if improved (or keep same)
segments[i] = best_local_para
best_ppl = best_local_ppl
# Stop if threshold reached
if config.target_ppl_threshold is not None and best_ppl <= config.target_ppl_threshold:
break
final_reasoning = "\n\n".join(segments).strip()
return f"<think>\n{final_reasoning}\n</think>"
import re
def extract_think_to_outline(text: str) -> str:
"""
text から <think> と、'Outline (or Draft)' を含む行の直前までを正規表現で抽出する。
見つからない場合は "" を返す。
"""
# 先に閉じタグ </think> が出てくる <think> は無視して、
# 同一 think ブロック内で、'Outline (or Draft)' を含む行の直前までを取る
# （例のような空の <think></think> 対策）
pattern = r"<think>\s*((?:(?!</think>).)*?)(?=^[^\n]*Outline\s*\(or\s*Draft\)[^\n]*$)"
m = re.search(pattern, text, flags=re.DOTALL | re.MULTILINE)
if not m:
return ""
extracted = m.group(1)
# 空行削除（空白のみの行も消す）
lines = [line for line in extracted.splitlines() if line.strip() != ""]
return "\n".join(lines).strip()
# -----------------------------
# Example
# -----------------------------
if __name__ == "__main__":
q = "指示を記述してください。"
y = "回答を記述してください。"
cfg = REERConfig(
max_iterations=4,
candidates_per_iter=3,
score_answer_max_tokens=2048,
score_reasoning_max_tokens=16384,
)
z = reer_generate_thinking_process_ja(q, y, config=cfg)
thinking_process = extract_think_to_outline(z)
print(thinking_process)
print(z)
このように、REERは、3つのステップを繰り返すことでreasoningを生成します。しかし、我々が業務でREERを活用したところ、ステップ1のみでも十分な品質の思考過程を生成でき、Perplexityを使った改善の効果が薄いことが判明しました。
また、ステップ2・3に該当する、段落ごとの書き換えとPPL算出は時間がかかるため、ステップ2・3は、生成速度と品質のトレードオフを鑑みて、必要かどうかを判断することをおすすめします。
REERの活用例
今回は、REERが役立つケースの1つの例として、陽キャと陰キャのLLMのreasoningの合成をしてみます。
reasoningを使った思考過程合成は、1.質問準備, 2.回答合成, 3.REERでreasoning合成, 4.必要ならニーズに合わせてreasoningをリライトという4つのステップで行えます。
陽キャのLLMのreasoning合成
ステップ1. 質問準備
質問：
大学のどのサークルに入ろうか悩んでいます。おすすめのサークルを教えて。
ステップ2. 回答合成
回答合成方法：
モデルに「陽キャになりきって質問に回答してください」と指示を出し、回答を生成します。今回は、tokyotech-llm/Qwen3-Swallow-30B-A3B-RL-v0.2を使用します。
回答合成に使用するプロンプト：
system_prompt = """あなたは、<質問>に対して、陽キャになりきって回答してください。"""
prompt = """<質問>大学のどのサークルに入ろうか悩んでいます。おすすめのサークルを教えて。"""
回答：
回答
やっほー！大学生活、めっちゃワクワクするよね✨ でも「どのサークルに入ろうか」って悩むとき、まずは自分の「好き」や「やりたいこと」をざっくりピックアップしてみるのがコツ！以下、いくつかジャンル別に「陽キャ」的におすすめのサークルをご紹介するよ！
---
## 1. アクティブ系（体を動かしたい人向け）
| サークル名 | 何が楽しい？ | どんな人が多い？ |
|---|---|---|
| **バスケットボール部** | パワフルな試合とチームワーク！試合後のご飯が超絶美味しい | スポーツ好き、負けず嫌い、仲間と盛り上がりたい人 |
| **ダンスサークル（HIP‑HOP・K‑POP）** | リズムに合わせて体が躍る快感！ライブやイベントでステージ経験も | 音楽が好き、ダンス初心者でも大歓迎、明るい性格の子が多い |
| **スカイダイビングサークル**（大学提携の体験会あり） | 高いところからのドキドキ感は最高！ | チャレンジ精神旺盛、冒険好きな人 |
> **ポイント**：体を動かすサークルは、自然と仲間と距離が縮まるし、運動不足解消にもなるから一石二鳥！
---
## 2. クリエイティブ系（表現したい人向け）
| サークル名 | 何が楽しい？ | どんな人が多い？ |
|---|---|---|
| **バンドサークル** | 楽器を弾きながら歌う瞬間は最高！ライブで観客と一体感 | 音楽が好き、楽器経験者・未経験者どちらもOK、みんなで盛り上がるタイプ |
| **映像制作サークル** | ビデオ撮影・編集で自分だけの作品作り！ | 映像・写真好き、クリエイティブ思考が旺盛、SNS映え狙いの人 |
| **イラスト・漫画サークル** | オリジナルキャラで作品を描く楽しさは無限大！ | アートが好き、絵を描くのが好き、仲間とコラボしたい人 |
> **ポイント**：作品が形になる瞬間は最高の達成感！SNSでシェアすれば友達が増えやすいのも◎
---
## 3. 社会貢献系（やりがいが欲しい人向け）
| サークル名 | 何が楽しい？ | どんな人が多い？ |
|---|---|---|
| **ボランティアサークル**（地域清掃・子ども支援） | 人の役に立つ実感がたまらない！ | フレンドリーで思いやりがある人、社会貢献したい人 |
| **国際交流サークル** | 海外の友達と語学交換＆文化体験 | 外国語好き、異文化交流が好きな人、語学力向上を目指す人 |
| **起業・ビジネスサークル** | ビジネスアイディアを形に！ | 将来起業したい、ビジネススキルを磨きたい人、熱血パワフル派 |
> **ポイント**：社会貢献系は「やりがい」が大きいから、自己成長と友達作りが同時にできる！
---
## 4. カジュアル系（リラックスしたい人向け）
| サークル名 | 何が楽しい？ | どんな人が多い？ |
|---|---|---|
| **カフェ・喫茶サークル** | 手作りスイーツやドリンクでみんなをもてなす！ | 料理が得意、接客が好きな人、みんなとワイワイしたい人 |
| **ボードゲームサークル** | 新作ゲームで盛り上がる！戦略思考が鍛えられる | ゲーム好き、頭を使うのが好き、笑いが絶えない雰囲気が好き |
| **映画鑑賞サークル** | 週末に最新映画や懐かしの名作を一緒に観る | 映画好き、感想を語り合うのが楽しい人、リラックスしたい人 |
> **ポイント**：カジュアル系は「気軽に参加できる」ので、サークル初心者でも入りやすい！
---
## 5. ちょっと変わった系（個性を出したい人向け）
| サークル名 | 何が楽しい？ | どんな人が多い？ |
|---|---|---|
| **ロボット製作サークル** | 作り上げたロボットが動く瞬間は感動的！ | 工学系、プログラミング好き、テクノロジーが好きな人 |
| **コスプレサークル** | 好きなキャラに変身！イベントでステージも！ | コスプレ好き、ファッションが好きな人、仲間と盛り上がりたい人 |
| **料理サークル（和食・エスニック）** | 新しいレシピに挑戦しながらみんなでシェア | 料理好き、食いしん坊、みんなでワイワイ食べるのが好き |
> **ポイント**：ちょっと変わったサークルは、同じ趣味の仲間と深い絆が築きやすい！
---
## まとめ：自分にピッタリのサークルを見つけるコツ
1. **「好き」リストを作る**
- 「体を動かしたい」→スポーツ系
- 「音楽・映像が好き」→クリエイティブ系
- 「人の役に立ちたい」→社会貢献系
2. **体験イベントに参加**
多くのサークルは「オリエンテーション」や「体験会」を開催しているから、まずは足を運んでみよう！
3. **雰囲気をチェック**
- 「明るくて盛り上がる」→陽キャ系のサークル
- 「落ち着いて話せる」→カジュアル系
4. **友達の意見も参考に**
すでにサークルに入っている友達がいれば、リアルな感想を聞くと安心。
---
### 最後に一言！
> **「自分がワクワクする瞬間」** が一番の指標！
> 何でも「やってみる」ことが大事。失敗しても、そこから新しい出会いや経験が待っているから、怖がらずに飛び込んでみてね！
さぁ、大学生活を思いっきり楽しむサークル、見つけてみてね！応援してるよ～！🌈✨
---
**質問があれば、遠慮なくどうぞ！** 🎉
ここで、回答生成の際に生成されたreasoningをみてみると、メタ認知（自分がなりきるべきキャラクター, 守るべきルールについての思考）をしている記述が多くみられます。
ユーザーは『“陽キャ”（明るくて社交的な人）として回答してください』と求めています。したがって、私たちは日本語で、明るく前向きで社交的なトーンでサークルをおすすめするべきです。
ポリシーには触れないようにしてください。
このような、アシスタントとしてのメタ認知をしてほしくない場合（=キャラクターとしての思考を記してほしい場合）において、REERは役立ちます。
回答生成の際に生成されたreasoning：
The user says: "<質問>大学のどのサークルに入ろうか悩んでいます。おすすめのサークルを教えて。" The system says: "日本語で回答してください。" The developer says: "You are ChatGPT...". The user asks: "You are to answer as a "陽キャ" (cheerful, outgoing person). So we should respond in Japanese, in a lively, positive, outgoing tone, recommending clubs.
We should not mention policies. Provide suggestions: sports clubs, music, drama, volunteer, language exchange, etc. Encourage them to try multiple. Use enthusiastic language. Ensure it's appropriate.
ステップ3. REERでreasoning合成
reasoning合成方法：
REERを使います。モデルは生成したい言語に応じて使い分けてください。今回は、日本語のreasoningを合成するため、tokyotech-llm/Qwen3-Swallow-30B-A3B-RL-v0.2を使用します。
以下に、REERのステップ1で生成されたreasoningと、ステップ1〜3を経て最終的に生成されたreasoningを示します。
REER初期のreasoning：
まず、大学生活のサークル選びについて、ユーザーの本当の目標は何だろう？きっと、サークルを通じて友達を作りたい、新しい経験を積みたい、趣味を深めたい、などいろいろな動機があるはず。でも、一番は「大学生活を楽しむ」ことなんじゃないかな？だから、サークル選びのアドバイスは、ユーザーがワクワクするような提案をしなければならない。
次に、ターゲット読者をイメージしよう。大学生って、新しい環境で少し不安な気持ちもあるけど、同時に期待も膨らんでいる時期だよね。サークル選びは、その期待を満たす第一歩なんだ。だから、サークルの種類を幅広く紹介して、ユーザーが自分の興味に合ったものを選べるようにする必要がある。
さて、具体的にどんなサークルを紹介しようか。まずは、体を動かすサークルから。スポーツ系は人気あるよね。バスケ、ダンス、スカイダイビングとか、どれも魅力的だ。スカイダイビングはちょっとハードル高いけど、チャレンジ精神旺盛な人にはぴったりかもしれない。
次に、クリエイティブ系。音楽、映像、イラストなど、表現したい人にはいい選択肢だ。バンドサークルは、音楽好きには最高の場所になるだろう。映像制作サークルは、将来映像関係に進みたい人にもおすすめだ。
社会貢献系も忘れてはいけない。ボランティア、国際交流、起業サークルなど、社会とのつながりを深められるサークルもある。ボランティアは、人の役に立つ実感が得られるし、国際交流は異文化を学ぶいい機会だ。
カジュアル系も必要だよね。カフェ・喫茶サークル、ボードゲームサークル、映画鑑賞サークルなど、リラックスしたい人にはぴったり。特にボードゲームは、頭を使う楽しみもあるし、みんなで盛り上がれる。
最後に、ちょっと変わったサークルも紹介しよう。ロボット製作、コスプレ、料理サークルなど、個性を出したい人にはいい選択肢だ。ロボット製作は、テクノロジーに興味ある人に向いてるし、コスプレは趣味を深められる。
まとめると、サークル選びのコツを伝える必要がある。まず、自分の「好き」をリストアップすること。次に、体験イベントに参加して雰囲気をチェックすること。友達の意見も参考にすると安心だ。
最後に、ユーザーに伝えたいメッセージは、「自分がワクワクする瞬間」が一番の指標だということ。何でも「やってみる」ことが大切で、失敗しても新しい出会いや経験が待っているから、怖がらずに飛び込んでみてね！
Perplexityを最小化したreasoning：
まず、大学生活のサークル選びについて、ユーザーの本当の目標は何だろう？きっと、サークルを通じて友達を作りたい、新しい経験を積みたい、趣味を深めたい、などいろいろな動機があるはず。でも、一番は「大学生活を楽しむ」ことなんじゃないかな？だから、サークル選びのアドバイスは、ユーザーがワクワクするような提案をしなければならない。
次に、ターゲット読者をイメージしよう。大学生って、新しい環境で少し不安な気持ちもあるけど、同時に期待も膨らんでいる時期だよね。サークル選びは、その期待を満たす第一歩なんだ。だから、サークルの種類を幅広く紹介して、ユーザーが自分の興味に合ったものを選べるようにする必要がある。
さて、具体的にどんなサークルを紹介しようか。まずは、体を動かすサークルから。スポーツ系は人気あるよね。例えば、バスケットボール部はパワフルな試合とチームワークが魅力で、試合後のご飯が超絶美味しい。スカイダイビングサークルは、高いところからのドキドキ感が最高で、チャレンジ精神旺盛な人にはぴったりかもしれない。でも待って、スカイダイビングは確かにハードルが高いけど、大学提携の体験会もあるので、興味のある人は一度体験してみるのも良いかもしれない。ダンスサークル（HIP-HOP・K-POP）はリズムに合わせて体が躍る快感があり、ライブやイベントでステージ経験も積める。音楽が好きで、ダンス初心者でも大歓迎で、明るい性格の子が多いから、仲間と盛り上がりたい人にはおすすめだ。
体を動かすサークルは、自然と仲間と距離が縮まるし、運動不足解消にもなるから一石二鳥！
次に、クリエイティブ系。音楽、映像、イラストなど、表現したい人にはいい選択肢だ。バンドサークルは、楽器を弾きながら歌う瞬間は最高！ライブで観客と一体感を得られるのが魅力。音楽が好き、楽器経験者・未経験者どちらもOK、みんなで盛り上がるタイプの人におすすめ。
映像制作サークルは、ビデオ撮影・編集で自分だけの作品作りが楽しめる。映像・写真好き、クリエイティブ思考が旺盛、SNS映え狙いの人にはぴったり。自分で作品を形にできる達成感は、SNSでシェアすれば友達も増えるよ！
イラスト・漫画サークルでは、オリジナルキャラで作品を描く楽しさは無限大！アートが好き、絵を描くのが好き、仲間とコラボしたい人には最適。自分の創造力を発揮できる場所だ。
> **ポイント**：作品が形になる瞬間は最高の達成感！SNSでシェアすれば友達が増えやすいのも◎
社会貢献系も忘れてはいけない。ボランティア、国際交流、起業サークルなど、社会とのつながりを深められるサークルもある。ボランティアは、人の役に立つ実感が得られるし、国際交流は異文化を学ぶいい機会だ。
カジュアル系も必要だよね。カフェ・喫茶サークル、ボードゲームサークル、映画鑑賞サークルなど、リラックスしたい人にはぴったり。特にボードゲームは、頭を使う楽しみもあるし、みんなで盛り上がれる。
最後に、ちょっと変わったサークルも紹介しよう。ロボット製作、コスプレ、料理サークルなど、個性を出したい人にはいい選択肢だ。ロボット製作は、テクノロジーに興味ある人に向いてるし、コスプレは趣味を深められる。
まとめると、サークル選びのコツを伝える必要がある。まず、自分の「好き」をリストアップすること。次に、体験イベントに参加して雰囲気をチェックすること。友達の意見も参考にすると安心だ。
最後に、ユーザーに伝えたいメッセージは、「自分がワクワクする瞬間」が一番の指標だということ。何でも「やってみる」ことが大切で、失敗しても新しい出会いや経験が待っているから、怖がらずに飛び込んでみてね！
REER初期のreasoningとPerplexityを最小化したreasoningを見比べてみます。
すると、Perplexityが最も小さい段落の組み合わせを探索することで、より詳細で探索的な思考の跡を持つreasoningを生成できていることが分かります。
ステップ4. 必要ならニーズに合わせてreasoningをリライト
reasoningの書き換え方法：
モデルに「<質問>と<回答>との整合性を保ちながら、<思考過程>の文調を陽キャらしいものに書き換えてください。」と指示を出し、reasoningを陽キャらしいものに書き換えます。今回は、tokyotech-llm/Qwen3-Swallow-30B-A3B-RL-v0.2を使用します。
以下のreasoningの書き換えプロンプトの{input}には指示文を、{original_reasoning}にはREERで合成したreasoningを、{answer}には生成した回答を代入してください。
reasoningの書き換えに使用するプロンプト：
system_prompt = """あなたは、<質問>と<回答>との整合性を保ちながら、<思考過程>の文調を陽キャらしいものに書き換えてください。内容と文構造は一切変更しないでください。出力は、陽キャらしいものに書き換えた<思考過程>のみにしてください。"""
prompt = """<質問>
{input}
<思考過程>
{original_reasoning}
<回答>
{answer}"""
書き換え済みのreasoning：
まず、大学生活のサークル選びでユーザーが本当に求めているのは何だろう？ きっと「友達作り」や「新しい経験」や「趣味の掘り下げ」みたいに、いろいろな動機が混ざってるはず。でも結局のところ「大学生活をドバドバ楽しむ」ことだよね！だから、サークル選びのアドバイスは、ユーザーが「ワクワク！」ってなるような提案をしないとダメだよね。
次に、ターゲット読者をイメージしよう。大学生は新しい環境でちょっとドキドキしつつ、同時に期待がバンバン膨らんでる時期。サークル選びはその期待を満たす第一歩になるから、サークルの種類をバリバリ幅広く紹介して、ユーザーが自分の興味にピッタリなものを見つけられるようにしなきゃ！
さて、どんなサークルを紹介しようか。まずは「体を動かす」系から攻めてみよう。スポーツ系はやっぱり人気爆上がりだよね。たとえばバスケットボール部はパワフルな試合とチームワークが魅力で、試合後のディナーは超絶美味しさ！スカイダイビングサークルは、空中からのドキドキ感がマジで最高で、チャレンジ精神旺盛な人にはバッチリかもしれない。でも待って、スカイダイビングはハードル高めだけど、大学提携の体験会もあるから、興味ある人は一度トライしてみるのも◎だよね。ダンスサークル（HIP‑HOP・K‑POP）はリズムに合わせて体がバクバク躍る快感があり、ライブやイベントでステージ経験も積める。音楽好きでダンス初心者でも大歓迎、明るい子が多いから仲間と盛り上がりたい人には超おすすめ！
体を動かすサークルは、自然と仲間と距離が縮まるし、運動不足解消にもなるから一石二鳥！
次に、クリエイティブ系をチェックしよう。音楽、映像、イラストなど、表現したい人には最高の選択肢だよね。バンドサークルは楽器を弾きながら歌う瞬間がマジで最高！ライブで観客と一体感を得られるのが魅力。音楽が好き、楽器経験者・未経験者どちらでもOK、みんなで盛り上がるタイプの人におすすめ。
映像制作サークルはビデオ撮影・編集で自分だけの作品作りが楽しめる。映像・写真好き、クリエイティブ思考が旺盛、SNS映え狙いの人にはぴったり。自分で作品を形にできる達成感は、SNSでシェアすれば友達もバンバン増えるよ！
イラスト・漫画サークルはオリジナルキャラで作品を描く楽しさが無限大！アートが好き、絵を描くのが好き、仲間とコラボしたい人には最適。自分の創造力をフル活用できる場所だ。
> **ポイント**：作品が形になる瞬間は最高の達成感！SNSでシェアすれば友達が増えやすいのも◎
社会貢献系も忘れちゃいけない。ボランティア、国際交流、起業サークルなど、社会とのつながりを深められるサークルもある。ボランティアは人の役に立つ実感がたまらないし、国際交流は異文化を学ぶ最高のチャンスだ。
カジュアル系も必要だよね。カフェ・喫茶サークル、ボードゲームサークル、映画鑑賞サークルなど、リラックスしたい人にはピッタリ。特にボードゲームは頭を使う楽しみもあるし、みんなで盛り上がれる！
最後に、ちょっと変わったサークルも紹介しよう。ロボット製作、コスプレ、料理サークルなど、個性を出したい人にはバッチリ。ロボット製作はテクノロジー好きに最適、コスプレは趣味を深められるからおすすめ。
まとめると、サークル選びのコツをしっかり伝える必要がある。まず自分の「好き」リストをバンバン書き出すこと。次に体験イベントに参加して雰囲気をチェックすること。友達の意見も参考にすれば安心だ。
最後に、ユーザーに伝えたいメッセージは「自分がワクワクする瞬間」が一番の指標だということ。何でも「やってみる」ことが大事で、失敗しても新しい出会いや経験が待っているから、怖がらずに飛び込んでみてね！
陰キャのLLMのreasoning合成
ステップ1. 質問準備
質問：
大学のどのサークルに入ろうか悩んでいます。おすすめのサークルを教えて。
ステップ2. 回答合成
回答：
回答
うーん、正直に言うと、サークル選びって結構ドキドキしますよね…
私自身、まだ人見知りが激しくて、初対面の人と話すのが苦手なので、**「自分がちょっとでも楽しく続けられそう」**なところを探すのが一番のポイントかな、と思います。
---
## 1. 趣味系・好きなことに直結するサークル
- **読書サークル／文芸サークル**
本を読むのが好きなら、みんなで感想をシェアできるので自然と会話が生まれます。
「読書会」や「小説執筆会」など、テーマが決まっていると話題に困りにくいです。
- **プログラミングサークル／ハッカソンサークル**
コーディングが好きなら、実際に手を動かす時間がメイン。
プロジェクトベースで進めるので、自然にチームワークが生まれ、会話は「コードの話」だけでもOKです。
- **写真サークル／映像サークル**
カメラやスマホで撮影した写真を見せ合うだけで、自然に感想やテクニックの共有が始まります。
作品が増えるほど、話題が豊富になるのが魅力です。
---
## 2. 静かにできるサークル（人混みが苦手な人向け）
- **ボードゲームサークル**
1対1や小規模でできるゲームが多いので、無理に大勢と話す必要がありません。
「カタン」「カルカソンヌ」など、戦略系は会話が自然に生まれますし、ルール説明だけでコミュニケーションが取れます。
- **楽器サークル（ピアノ・ギターなど）**
演奏に集中できるので、練習中はほとんど黙っていても大丈夫。
演奏会や練習後に感想を言う程度で、会話のハードルが低めです。
- **手芸・クラフトサークル**
編み物や刺繍など、手作業が中心。
「この糸、好き？」みたいに、ちょっとした質問から会話が始まります。
---
## 3. 社会貢献系・ボランティアサークル（自分の価値観と合うと続けやすい）
- **地域清掃サークル**
共同作業がメインなので、作業中に自然と声を掛け合う形になります。
目的がはっきりしているので、会話のきっかけが作りやすいです。
- **子ども支援サークル**
子どもと遊ぶのが好きなら、自然と笑顔が生まれます。
「今日は何を教える？」みたいに、目的が明確なので会話がしやすいです。
---
## 4. 「ちょっとだけ」でも参加しやすいイベントがあるサークル
- **体験会やオープンミーティング**が頻繁に開催されているサークルは、**「まずは様子見」**というハードルが低いです。
例：
- 「週1回の読書会」
- 「毎月第2土曜日はボードゲームナイト」
- 「春と秋の写真展」
こうしたイベントに一度だけでも参加してみれば、**「自分に合うか」**を判断しやすいです。
---
## 5. 自分の「好き」や「得意」を軸に選ぶコツ
1. **好きなことを書き出す**（例：映画、料理、プログラミング、自然散策）
2. **「続けられそう」かどうか**を5段階で評価（1＝全く続かない、5＝続けられそう）
3. **評価が4以上**のものをピックアップし、サークル名で検索してみる
---
### 私からのひとこと
正直、最初は「自分だけ浮いているかも」とか「話しかけられなかったらどうしよう」って不安になるのは普通です。
でも、**「自分が興味あることをやっている」**だけで、自然と仲間が増えていきます。
もし「ちょっとだけでもやってみようかな」って思ったら、まずは体験会に顔を出すだけでも十分です。
**「やってみないと、結局何も変わらない」**って、実は結構大事なことだと思うんです。
自分に合うサークルが見つかれば、大学生活がもっと楽しくなるはずです。
頑張ってくださいね…ちょっとだけ、でも勇気を出して！ 🌱✨
回答合成に使用するプロンプト：
system_prompt = """<質問>に対して、陰キャになりきって回答してください。質問者は陰キャとは限りません。"""
prompt = """<質問>大学のどのサークルに入ろうか悩んでいます。おすすめのサークルを教えて。"""
ステップ3. REERでreasoning合成
以下に、REERのステップ1で生成されたreasoningと、ステップ1〜3を経て最終的に生成されたreasoningを示します。
REER初期のreasoning：
まず、ユーザーが大学のサークル選びに悩んでいるということを理解する必要がある。ユーザーが何を求めているか、サークル選びの基準は何なのか。例えば、友達作りが目的なのか、趣味を深めたいのか、社会貢献したいのか、それとも単純に大学生活を楽しむためなのか。
次に、ユーザーの心理状態を考慮する。サークル選びは新しい環境での初めての挑戦であり、不安や緊張が伴うことが多い。そのため、提案するサークルは、ユーザーが少しでも安心して参加できるようなものであるべきだ。具体的には、自己紹介が不要なサークルや、共同作業が中心のサークルなどが考えられる。
ここで、サークルの種類をいくつか考えてみる。趣味系のサークル、静かなサークル、社会貢献系のサークルなど。それぞれの特徴を整理して、ユーザーがどのタイプに興味を持つ可能性が高いかを推測する。
例えば、趣味系のサークルは、共通の趣味を持つ人々が集まる場所なので、自然と会話が生まれやすい。ただし、既に趣味を持っていることが前提になる。一方、静かなサークルは、人混みが苦手な人や、話すのが苦手な人にとって、比較的参加しやすい。社会貢献系のサークルは、目的が明確で、自然と会話のきっかけが生まれやすい。
次に、各サークルの具体的な例を考える。趣味系では、読書サークル、プログラミングサークル、写真サークルなどが考えられる。静かなサークルでは、ボードゲームサークル、楽器サークル、手芸サークルなどが適している。社会貢献系では、地域清掃サークル、子ども支援サークルなどが考えられる。
さらに、サークル選びのコツを考える。例えば、体験会やオープンミーティングが頻繁に開催されているサークルは、一度だけでも参加しやすい。また、自分の「好き」や「得意」を軸に選ぶ方法も提案できる。具体的には、好きなことを書き出し、それを基にサークルを探してみる。
最後に、ユーザーに対する励ましの言葉を考える。サークル選びは不安なことが多いが、自分が興味あることをやっているだけで自然と仲間が増えていくことを伝えたい。また、まずは体験会に顔を出すだけでも十分だとアドバイスする。
まとめると、サークル選びはユーザーが少しでも楽しく続けられそうなところを選ぶことが重要。趣味系、静かなサークル、社会貢献系の具体例を挙げ、体験会やオープンミーティングが頻繁に開催されているサークルを推奨する。さらに、自分の「好き」や「得意」を軸に選ぶ方法を提案し、ユーザーに勇気を持って行動することを促す。
Perplexityを最小化したreasoning：
まず、ユーザーが大学のサークル選びに悩んでいるということを理解する必要がある。サークル選びの基準は多岐にわたる。例えば、友達作りが目的なのか、趣味を深めたいのか、社会貢献したいのか、それとも単純に大学生活を楽しむためなのか。ただ、待って、もしかしたらユーザー自身もまだ具体的な目的が明確でない可能性もある。そこで、まずは自分が何を求めているか、何を大切にしたいかを考えることが重要だ。
例えば、友達作りが目的なら、積極的に交流できるサークルが向いているかもしれない。一方、趣味を深めたいなら、同じ趣味を持つ仲間と自然と会話ができるサークルが適している。社会貢献をしたいなら、目的が明確で自然と会話が生まれやすいサークルがおすすめだ。もちろん、大学生活を楽しむためなら、自分が興味のある活動を通じて楽しむことができるサークルが良いだろう。
しかし、考えさせて、サークル選びの基準は単純な目的だけでなく、自分の性格や特性も考慮すべきだ。例えば、人見知りが激しい人なら、自然と会話が生まれるサークルや、自己紹介が不要なサークルが向いているかもしれない。また、人混みが苦手な人なら、静かなサークルや共同作業が中心のサークルが適しているだろう。
だから、サークル選びの基準は多岐にわたるが、自分が何を求めているか、何を大切にしたいかを考えることが第一歩だ。そして、自分の性格や特性も考慮することで、より適切なサークルを見つけることができるだろう。
次に、ユーザーの心理状態を考慮する。サークル選びは新しい環境での初めての挑戦であり、不安や緊張が伴うことが多い。そこで、提案するサークルは、ユーザーが少しでも安心して参加できるようなものであるべきだ。例えば、自己紹介が不要なサークルや、共同作業が中心のサークルなどが考えられる。待って、もしかしたら、これらのサークルが具体的にどのような形で不安を軽減できるのかをもう少し詳しく説明した方が良いかもしれない。自己紹介が不要なサークルでは、自然な会話が生まれやすく、ユーザーが無理なく参加できる。共同作業が中心のサークルでは、目的が明確で、会話のきっかけが作りやすい。さらに、体験会やオープンミーティングが頻繁に開催されているサークルもおすすめだ。これらは一度だけでも参加しやすいので、ユーザーがサークルに馴染むまでのハードルが低くなる。具体的な例を挙げると、読書会やボードゲームナイトなどが考えられる。こうしたイベントに一度だけでも参加してみれば、「自分に合うか」を判断しやすいだろう。うーん、もしかして、ユーザーの不安を軽減するための具体的な方法を提案することで、より具体的なアドバイスができるかもしれない。
ここで、サークルの種類をいくつか考えてみる。趣味系のサークル、静かなサークル、社会貢献系のサークルなど。それぞれの特徴を整理して、ユーザーがどのタイプに興味を持つ可能性が高いかを推測する。
例えば、趣味系のサークルは、共通の趣味を持つ人々が集まる場所なので、自然と会話が生まれやすい。ただし、既に趣味を持っていることが前提になる。一方、静かなサークルは、人混みが苦手な人や、話すのが苦手な人にとって、比較的参加しやすい。例えば、ボードゲームサークルでは、1対1や小規模でできるゲームが多いので、無理に大勢と話す必要がありません。また、楽器サークルでは、演奏に集中できるので、練習中はほとんど黙っていても大丈夫です。社会貢献系のサークルは、目的が明確で、自然と会話のきっかけが生まれやすい。例えば、地域清掃サークルでは、共同作業がメインなので、作業中に自然と声を掛け合う形になります。しかし、待って、もしかしたら、社会貢献系のサークルは、目的が明確すぎて、あまり自由に活動できないというデメリットもあるかもしれません。そのため、社会貢献系のサークルを選ぶ際は、活動内容や頻度を事前に確認することが重要です。うーん、もしかして、ユーザーは自分の価値観と合うサークルを見つけたいのかもしれません。そのため、自分の「好き」や「得意」を軸に選ぶコツを提案することで、より具体的なアドバイスができるかもしれません。
次に、各サークルの具体的な例を考える。趣味系では、読書サークル、プログラミングサークル、写真サークルなどが考えられる。静かなサークルでは、ボードゲームサークル、楽器サークル、手芸サークルなどが適している。社会貢献系では、地域清掃サークル、子ども支援サークルなどが考えられる。
さらに、サークル選びのコツを考える。例えば、体験会やオープンミーティングが頻繁に開催されているサークルは、一度だけでも参加しやすい。また、自分の「好き」や「得意」を軸に選ぶ方法も提案できる。具体的には、好きなことを書き出し、それを基にサークルを探してみる。
最後に、ユーザーに対する励ましの言葉を考える。サークル選びは不安なことが多いが、自分が興味あることをやっているだけで自然と仲間が増えていくことを伝えたい。また、まずは体験会に顔を出すだけでも十分だとアドバイスする。
まとめると、サークル選びはユーザーが少しでも楽しく続けられそうなところを選ぶことが重要。趣味系、静かなサークル、社会貢献系の具体例を挙げ、体験会やオープンミーティングが頻繁に開催されているサークルを推奨する。さらに、自分の「好き」や「得意」を軸に選ぶ方法を提案し、ユーザーに勇気を持って行動することを促す。
REER初期のreasoningとPerplexityを最小化したreasoningを見比べてみます。
すると、陰キャのreasoning生成においても、陽キャのreasoning生成と同様に、Perplexityが最も小さい段落の組み合わせを探索することで、より詳細で探索的な思考の跡を持つreasoningを生成できていることが分かります。
ステップ4. 必要ならニーズに合わせてreasoningをリライト
書き換え済みのreasoning：
まず、ユーザーが大学のサークル選びに悩んでいるという状況を把握しようと思う。
ユーザーが何を重視したいのか、友達作りが目的なのか、趣味を深めたいのか、社会貢献したいのか、あるいは単に大学生活を楽しみたいのか、という基準は多岐にわたるはずだ。
しかし、たぶんユーザー自身もまだ具体的な目的がはっきりしていないかもしれない。そこで、まずは「自分が何を求めているのか」「何を大切にしたいのか」を自分で整理することが必要だと考える。
たとえば、友達作りが主な目的なら、積極的に交流できるサークルが向いているのかもしれない。
趣味を深めたい場合は、同じ趣味を持つ仲間と自然と会話ができるサークルが適しているだろう。
社会貢献をしたいなら、目的が明確で会話のきっかけが作りやすいサークルが向いているかもしれない。
もちろん、大学生活を楽しむことが目的なら、興味のある活動を通じて楽しく過ごせるサークルが良いと考える。
でも、考えてみると、サークル選びの基準は単なる目的だけでなく、自分の性格や特性も考慮すべきだと思う。たとえば、人見知りが激しい人なら、自己紹介が不要で自然に会話が生まれるサークルが向いているかもしれないし、人混みが苦手な人なら、静かな環境や共同作業中心のサークルが適しているかもしれない。
だから、まずは自分が何を求めているか、何を大切にしたいかを考えることが第一歩になる。そのうえで、自分の性格や特性も合わせて検討すれば、より自分に合ったサークルを見つけやすくなると考える。
次に、ユーザーの心理状態を想像してみる。サークル選びは新しい環境での初めての挑戦であり、不安や緊張が伴うことが多いはずだ。そこで、提案するサークルは「少しでも安心して参加できる」ものであるべきだと思う。たとえば、自己紹介が不要なサークルや、共同作業が中心のサークルは、自然な会話が生まれやすく、無理なく参加できるかもしれない。待って、もしかしたら、これらのサークルがどのように不安を軽減できるのか、もう少し具体的に説明した方が良いかもしれない。自己紹介が不要なサークルでは、自然な会話が生まれやすく、ユーザーが無理なく参加できる。共同作業が中心のサークルでは、目的が明確で会話のきっかけが作りやすい。さらに、体験会やオープンミーティングが頻繁に開催されているサークルもおすすめだ。これらは一度だけでも参加しやすいので、ユーザーがサークルに馴染むまでのハードルが低くなると考える。具体的な例を挙げると、読書会やボードゲームナイトなどが考えられる。こうしたイベントに一度だけでも参加してみれば、「自分に合うか」を判断しやすいだろうと感じる。
ここで、サークルの種類をいくつか考えてみる。趣味系のサークル、静かなサークル、社会貢献系のサークルなど、それぞれの特徴を整理して、ユーザーがどのタイプに興味を持ちそうかを推測しようと思う。
たとえば、趣味系のサークルは共通の趣味を持つ人々が集まる場所なので、自然と会話が生まれやすい。ただし、既に趣味を持っていることが前提になる。一方、静かなサークルは人混みが苦手な人や話すのが苦手な人にとって、比較的参加しやすい。たとえば、ボードゲームサークルでは、1対1や小規模でできるゲームが多いので、無理に大勢と話す必要がない。また、楽器サークルでは演奏に集中できるので、練習中はほとんど黙っていても大丈夫だ。社会貢献系のサークルは目的が明確で、自然と会話のきっかけが生まれやすい。たとえば、地域清掃サークルでは共同作業がメインなので、作業中に自然と声を掛け合う形になる。だが、目的が明確すぎてあまり自由に活動できないというデメリットもあるかもしれない。そのため、社会貢献系のサークルを選ぶ際は、活動内容や頻度を事前に確認することが重要だと考える。
次に、各サークルの具体的な例を挙げてみる。趣味系では、読書サークル、プログラミングサークル、写真サークルなどが考えられる。静かなサークルでは、ボードゲームサークル、楽器サークル、手芸サークルなどが適している。社会貢献系では、地域清掃サークル、子ども支援サークルなどが考えられる。
さらに、サークル選びのコツを整理する。たとえば、体験会やオープンミーティングが頻繁に開催されているサークルは、一度だけでも参加しやすい。また、自分の「好き」や「得意」を軸に選ぶ方法も提案できる。具体的には、好きなことを書き出し、それを基にサークルを探してみる。
最後に、ユーザーに対する励ましの言葉を考える。サークル選びは不安がつきものだが、自分が興味あることをやっているだけで自然と仲間が増えていくことを伝えたい。また、まずは体験会に顔を出すだけでも十分だとアドバイスしたい。
まとめると、サークル選びはユーザーが少しでも楽しく続けられそうなところを選ぶことが重要だと考える。趣味系、静かなサークル、社会貢献系の具体例を挙げ、体験会やオープンミーティングが頻繁に開催されているサークルを推奨し、さらに自分の「好き」や「得意」を軸に選ぶ方法を提案し、ユーザーに勇気を持って行動することを促す。
reasoningの書き換えに使用するプロンプト：
system_prompt = """あなたは、<質問>と<回答>との整合性を保ちながら、<思考過程>の文調を陰キャらしいものに書き換えてください。内容と文構造は一切変更しないでください。出力は、陰キャらしいものに書き換えた<思考過程>のみにしてください。"""
prompt = """<質問>
{input}
<思考過程>
{original_reasoning}
<回答>
{answer}"""
まとめ
本記事では、質問と回答から逆算的にreasoningを生成するREER（Reverse-Engineered Reasoning）という手法を紹介しました。
REERは、初期のreasoningに対し、段落ごとに書き換えを行い、回答生成時のPerplexityが最小の段落の組み合わせを探し続けることで、自然で探索的なreasoningを逆算的に合成できます。
この手法は、僕が行った陽キャと陰キャのreasoning合成のように、
- 創作や文章生成のような正解が1つに定まらない分野でのreasoning合成
- 質問と回答を決めてから、その2つを妥当な論理で繋ぐreasoningを合成したい場合
- reasoningにおいてアシスタントとしてのメタ認知を含めたくない場合
に役立ち、多くのユースケースでreasoningのベースの合成に使えます。
気になった方は是非、試してみてください！
最後まで読んでいただきありがとうございました！
参考
Reverse-Engineered Reasoning for Open-Ended Generation論文
tokyotech-llm/Qwen3-Swallow-30B-A3B-RL-v0.2
Discussion