高校生に、情報工学の問題をAIに質問し放題で解いて貰ったら、結構良い正答率になった。

はじめに

先日、神奈川工科大学のオープンキャンパスに企画側として参加しました。筆者は学生の展示物として、AIアシスタントに質問し放題のクイズアプリを展示しました。クイズの内容としては、情報工学に関する基礎的な問題を出題しました。当然、高校生にとっては大学で学ぶ内容なので、AIアシスタントのヒントなしで正答するのは困難です。しかし、AIアシスタントに質問し放題にしたところ結構良い正答率になったので、今回そのことについて考察を含めて紹介します。

制作したクイズアプリ

図1の様なクイズアプリを今回は作成しました。画面の左側は、普通のクイズアプリです。特徴的なのが右側で、GPT-3.5（以降、AIアシスタント）に質問できます。左側の問題で分からない用語や、質問の意図があれば右側で直ぐに質問できるクイズアプリです。

実際にAIアシスタントに質問すると、図2にあるように答えは何ですかと直接的な質問をしても、ヒントのみ回答してくれます。なので、答えを聞いたら答えをそのまま教えてくれる甘すぎるAIアシスタントではありません。この点に関しては、後述するプロンプトの工夫で説明しています。

クイズアプリは全10問あり、10問正答するとスコアを図3の様にランキングに載せることができます。25名の高校生に、ランキングを登録して頂きました。

ランキングや問題の出題に関するバックエンドはFlaskで実装しており、学内wi-fiからサーバーにアクセスできる仕組みにしました。

プロンプトでの工夫点

プロンプトでの工夫点として、答えを絶対に言わない様にしました。仕組みとしては、プロンプトとしてAIアシスタントに質問とその答えを送り、答えを言わない形でヒントを出してもらう様にしています。

"content": "これはクイズです"+question+"という問題があります。答えは"+correct_answers+"です。答えを言わずにヒントを出してください"

オープンキャンパス当日の高校生のスコア平均

実際にオープンキャンパス当日は、高校生に上記のクイズアプリを回答してもらいました。先述した通り、多くの方にランキングに登録していただき平均点としては、78.0点と8割近い正答率を出すことができました。25人の方が問題に回答して頂き、情報工学を学んだことがない高校生としては高いスコアが出ました。

オープンキャンパス当日の様子

オープンキャンパス当日、25名ほどの高校生たちが参加し、AIアシスタントを活用して問題に取り組みました。学生さんたちは、それぞれ異なる戦略を展開して高得点を追求しました。

裏技的な戦略を用いる学生

一部の学生は、答えの文字数を尋ねるなど、クイズの裏技的な側面に焦点を当てました。このアプローチは、問題を解く際の戦略的な考え方を高める一方で、教育的な目的との整合性を今後検討する課題として残ります。

正攻法で問題に挑む学生

一方で、用語の解説を求めるなど、一つずつ質問を積み重ねながらクイズに取り組む学生もいました。この正攻法は、学生たちが真剣に学習に取り組む姿勢を反映しており、教育的な価値が高いと言えます。

結果と展望

全学生が10問解き終え、高い正答率を記録しました。この結果は、AIアシスタントを搭載した学習アプリケーションに対する需要の存在を示しています。しかし、質問の仕方によっては学習の定着率に大きな差が出ることも確認されました。今後、システム面での改良を通じて、更なる教育効果の向上を目指す必要があります。

おわりに

オープンキャンパスで展示してみて、AIアシスタントが自己学習に利用できる未来を見ることができました。この記事がAIアシスタントと自己学習に興味がある方のお役に立てれば幸いです。