chatGPTは約分ができない

茶番

そう、その時は急に訪れた。
暇つぶしにﾃｲｷｮｳﾍｲｾｲﾀﾞｲｶﾞｸ♪の数学の問題を解き、解答が公開されていないのでchatGPTに答えを出してもらおうと思い、大問1の(1)をchatGPTに解いてもらった時のことだ。

PocoPota氏「まぁ最初の計算問題くらい一瞬で解いてくれるだろう。」

chatGPT「有理化をするには。。。(略)。。。=3+2√2」

PocoPota氏「最後の最後で約分ミスってるやん！」

なんということでしょう！途中まできちんと正確に計算してくれているのに、最後の最後で約分ができていない！！

まぁ、、多分、、こういうのはもう一度計算をさせると、、うまくいく、、ハズ。。。

そんなことはありませんでした。。

---

まぁ茶番はここまでとして、なぜchatGPTが有理化の手順まではきちんとできているのに約分ができないかを検証していきたいと思います。
chatGPTはあくまでも言語モデルなので計算能力を期待するのはナンセンスかもしれませんが、世間でここまで期待されていたらしょうがないですね。

この記事ではchatGPT-3を使っています

調査開始！

調査方法としては様々なバリエーションの約分問題を出題し、解いてもらい傾向をつかんでいきます。

1,$A/A$

まずは$2/2$や$9/9$といった分母・分子に同じ数があり、約分結果が$1$となる分数を与えてみます。

おっと、答えが$1$であること自体は正解なのですが$4/4$は既約分数ではありませんね。
ちなみに既約分数とは以下のような分数です。

分母と分子に1以外の公約数がなくて、それ以上に約分できない分数

お次は$9/9$です。なぜか$3/3$に一度約分をしてそこから$1$を導き出しています。最初から分子・分母が等しいと判断できなかったものか。

少し数字を大きくしてみました。今回はは$2$で割ってからですね。

はじめに割り切れる最小の数で割るような処理が走っているのでしょうか？もう少し試してみます。

(1)(2)は既約分数ですとか言いながら、割ってきています。ツンデレなんでしょうか。(3)は正解ですね。

2,$nA/A$

$12/6$や$256/128$のように整数値が解となる分数を出題してみます。

おそらくこれを読んでいる9割の人が好きであろう$2^n$の数の分数を出題しました。
素因数分解かのように、2で割って、2で割って、2で割ってを繰り返しています。$2$が答えとして出るかと思いきや、なぜそこで止まる！？

$16/8$で止まってしまったのでこれをもう一度約分させました。素因数分解方式の方法ですがきちんと約分できています。正解ではありますが$2/1$となっているのが若干気がかり。

3,2の発展的実験

さっきの計算で$2/1$で計算が終わっているので$A/1$つまり$5/1$や$3/1$も試す必要があるでしょう。

まぁ、間違えではないです。

言い方を変えてみました。これだと整数まで持ってきてくれます。

ということで、前に出題したものに「整数にしろ」と指示を追加してみました。きちんと整数にしてくれます。

これだけだと比較対象がありませんね。同じ指示のまま他の分数も出題しました。
全てにおいてきちんとできていますね。(4)では急に最大公約数とかいうワードを出してきて、今までと比べて賢いですね。

4,$nA/mA$

若干前の発展的実験の章で既に出題していますが、$nA/mA$、$4/18$や$9/36$のように分母分子にともに数が残る分数を出題しています。

きちんと最大公約数を考えて約分をし、全て正解です。前にあった2でどんどん割っていく方法はどこへ行ったのでしょうか。

ーーー素因数分解方式はどこへ行ったのか。　もう一度同じ問題を出してみました。
んんんん？普通に解いていやがる。気まぐれか？

5,ルートや$\pi$などを含む分数

ルートや$\pi$などを含む分数を計算させます。

ちょっとよくわかりませんね。「両方に2をかける」と言ってますが2はかけていないし、なぜ外へ出した2を無視して$√3/4$が約分できるかどうか判定しているのか。答えとして提示しているのは表示形式を変化させただけですね。

これは√の入力形式的にきちんと理解できていない可能性があるので同じ問題をTeXを使って出題してみます。
chatGPTもTeXを使っていたので見やすいようにTeXを出力したものを貼り付けます。

自分：$\dfrac{2\sqrt{3}}{4}$を約分してください。
====以下chatGPT====
分子と分母の両方に2をかけることで、分数を簡単にできます。
$\dfrac{2\sqrt{3}}{4} = \dfrac{2 \times 2 \times \sqrt{3}}{4 \times 2} = \dfrac{4\sqrt{3}}{8}$
分子と分母を2で割ることで、更に簡単にできます。
$\dfrac{4\sqrt{3}}{8} = \dfrac{\sqrt{3}}{2}$
よって、$\dfrac{2\sqrt{3}}{4}$は、$\dfrac{\sqrt{3}}{2}$となります。

やはり何故か最初に2をかけています。そして「2で割る」といいつつ実際は4で割ることで正解の解答を出しています。
意味がわかりません。もう少し他の問題も出してみます。

自分：$\dfrac{2\pi}{4}$を約分してください。
====以下chatGPT====
$\dfrac{2\pi}{4}$は、分子と分母の両方に2をかけることで、簡単に約分できます。
$\dfrac{2\pi}{4} = \dfrac{2 \times \pi}{4 \times 2} = \dfrac{\pi}{2}$
よって、$\dfrac{2\pi}{4}$は、$\dfrac{\pi}{2}$となります。

これは駄目ですね。答え自体は正解ですが途中式が全然成立していません。
「よって」とか使っちゃってますけど、全然「よって」が成り立っていません。
そしてまたもや謎の2をかけています。他の問題も出してみます。

自分：$\dfrac{3\pi}{9}$を約分してください。
====以下chatGPT====
$\dfrac{3\pi}{9}$は、分子と分母の両方を3で割ることで、簡単に約分できます。
$\dfrac{3\pi}{9} = \dfrac{3}{3} \times \dfrac{\pi}{9} = 1 \times \dfrac{\pi}{3} = \dfrac{\pi}{3}$
よって、$\dfrac{3\pi}{9}$は、$\dfrac{\pi}{3}$となります。

解説と式が表していることが違うような気がしますが、答えはあっています。

ルートや$\pi$を含めると解答が安定しませんね。

6,5の発展形

次は$\dfrac{4\sqrt{3}+2}{2}$などの計算をさせてみようと思います。

(何故か急に一部だけTeXで数式を表示してくれました。ありがたい。)

これは正常に約分できていますね。

自分：$\dfrac{6+2\sqrt{3}}{4}$を約分してください。
====以下chatGPT====
まず、$6+2\sqrt{3}$ を 4 で割ります。
$\dfrac{6+2\sqrt{3}}{4}=\dfrac{6}{4}+\dfrac{2\sqrt{3}}{4}=\dfrac{3}{2}+\dfrac{\sqrt{3}}{2}$
次に、分数 $\dfrac{3}{2} + \dfrac{\sqrt{3}}{2}$ の約分を行いますが、分母は既に最小化されているので、分子を約分することができます。
$\dfrac{3}{2}+\dfrac{\sqrt{3}}{2}=\dfrac{3+\sqrt{3}}{2}$
したがって、$\dfrac{6+2\sqrt{3}}{4}$ を約分すると、$\dfrac{3+ \sqrt{3}}{2}$ となります。

「分子を約分」とかいうよく分からないこと（通分？）を言っていますが答えは合っています。
$6$と$\sqrt{3}$で分けて計算しているのはいいでしょう。もう1問くらい出題してみましょう。

まぁ、いいんじゃないでしょうか。一番最初の茶番部分と同じ問題を出したのですが、きちんと正解してくれています。この違いは何なのでしょうか。

7,繁分数

繁分数とは分母分子にまた分数が含まれている形です。例えば、$\dfrac{1}{1-\dfrac{2}{2+\dfrac{1}{3}}}$などです。
よくよく考えてみると、これは約分では無い気がするのでまた今度の機会に。

8,大きい数の分数

これまでは多くても3桁までの数しか用いずに分数を作ってきました。もっと大きな数を用いて約分をさせてみます。5桁の数を用いた分数の約分の問題は大学入試などで出てくることもあります。人間がする場合はユークリッド互除法などを使って解きますがchatGPTはどうするのでしょうか。

方針は良いでしょう。あたかも正解かのように振る舞っていますが、素因数分解がどちらも間違っています。
きちんと素因数分解をすると以下のようになり、83が共通になります。

$12533 = 83 \times 151$
$15853 = 83 \times 191$

よって約分結果は$\dfrac{151}{191}$となります。

まとめ

chatGPTに約分をするよう言うと、時には正解を出力したり、時には不正解やよく分からないことを気まぐれで出力することがわかりました。

それもそのはず。chatGPTは実際に計算をしている訳ではなく、過去に人間が積み上げてきた文章を学習し、それっぽい文章を生成し、出力しているだけなのですから。

もしかしたら違うかも

現時点ではまだ計算などは厳しいようです。もしかしたら今後計算などもできるようになったりするかも(?)期待です。