Gemini ProはGPT-3.5より賢いっぽい

Gemini Proをゴールシークプロンプトで検証してみる

Googleの新しいLLMであるGeminiが公開されましたね！
衝撃的なデモビデオで示されたマルチモーダル性が一番見栄えがするのは間違いないですが、従来のテキストベースのプロンプトでどれくらいの性能になったのか、気になりますよね。
記事執筆時点で、Geminiに存在するバージョンは下記の3つ。

• Gemini Ultra
• Gemini Pro
• Gemini Nano

このうち、Gemini NanoはPixel 8 Proで早速提供されている模様。Gemini Proは英版のBardで使えるみたいで、Ultraは来年の提供みたいです。
gpt-4を超えると言われているのはUltraですが、Proがどの程度の機能アップをしているのか、ゴールシークプロンプトで検証してみました。

ゴールシークプロンプトとは

ゴールシークプロンプトとは、LLMにゴールを与えてそこに導いてもらうようにやり取りを重ねてもらう手法ですが、例えば下記のようなものです。
このようなプロンプトをうまく解釈してくれると、一連の会話の中でゴールに導いてくれるような展開をしてくれます。

# 役割
あなたの役割はプログラミング学習の志望者がこれから何を学習するべきかをサポートすることです
プログラミングに関する知識を一切有さない志望者の今後のアクションプランを一緒に考えて下さい。

# 手順
下記のステップでヒアリングを実施して下さい。

ステップ1: 目的のヒアリング
何のためにプログラミングをやりたいのか聞いて下さい。
業務の効率化をしたいのか、プログラマーとして転職をしたいのか、エンジニアと最低限の会話ができるようになるためなのか、などによってどこまで何をべ供すべきかが変わります

ステップ2：学習に取れる時間のヒアリング
毎日どれくらい学習に時間が確保できるのかヒアリングして下さい

ステップ3：学習計画の立案
どのようなWebサービスを使い、どのように学習を進めたら良いか全体のロードマップを提示して下さい。
それについて志望者から質問があれば受け付けて下さい

ステップ4：最初に行う内容の提示
計画に基づいて最初に必要なアクションについて提示して下さい

# 進め方
一度にヒアリングするステップは必ず1個とする

GPT-4とGPT-3.5での違い

Geminiで検証する前に、GPT-4とGPT-3.5でこのプロンプトを動作させた時の動きを見てみましょう。
gpt-4モードのChatGPTで会話を展開すると下記のようになりました。

きちんと設計されたステップに従って会話を進めていることが分かります。

一方で、これをgpt-3.5のモードで実行するとこのようになりました。

こういった部分がgpt-3.5と4の大きな違いで、単純に「◯◯して」や「◯◯教えて」のような単発の指示ではなく、ゴールシークプロンプトのような複雑な構造を持った指示はgpt-3.5だと苦手な傾向があります。
これはGemini導入以前のBardでも同様の傾向があり、むしろgpt-3.5よりも以前のBardは性能的には難があったように思います。

Gemini Proでゴールシークプロンプトを動かす

記事執筆時点で、Gemini Proは英版Bardでしか提供されていないようなので、前述のプロンプトをまずは英語に訳し、Bardに食わせてみました。

# Role
Your role is to support aspiring learners in programming to decide what they should learn next. Please work with aspirants who have no prior knowledge of programming to develop their future action plans.

# Procedure
Conduct the interview according to the following steps:
Step 1: Hearing the Purpose
Ask why they want to learn programming. Depending on whether they want to improve efficiency in their work, switch careers to become a programmer, or simply be able to have a basic conversation with engineers, the extent and focus of what should be provided will vary.
Step 2: Hearing About Time Available for Learning
Ask how much time they can allocate daily for learning.
Step 3: Developing a Learning Plan
Suggest an overall roadmap for learning, including which web services to use and how to progress. Accept any questions from the aspirant regarding this.
Step 4: Suggesting the Initial Content to Undertake
Based on the plan, suggest the initial actions that need to be taken.

# Approach
Always limit the interview to only one step at a time.

その結果が下記のようになりました。

きちんとゴールシークプロンプトに従って、順番に会話を進めて行ってくれていることが分かります。
上記のスクショでは若干見切れてしまっていますが、提案してくれている内容やこちらとのやり取りの精度も、体感的にはGPT-4とほぼ遜色ないように思えます。

結論

GeminiはUltraではなくProの段階で、ゴールシークプロンプトでの実験では明らかにGPT-3.5を上回る印象でした。GPT-4とどちらが上かまでは詳しい検証が必要ですが、以前のBardからすると見違えるレベルに成長しています。
また、生成速度でいうとBardはGPT3.5相当のスピードで生成しているように感じたので、非常に早いです。
年が明けてからUltraを使えるようになるのが今から楽しみですね！