AIにボードゲームをさせてみる

はじめに

ChatGPT、Gemini、ClaudeとそれぞれのAIチャットでかなり高精度の画像認識ができるようになってきたということなので、それぞれのプラットフォームでそのままボードゲームができるか試して見ました。

試したのは、

• 麻雀
• オセロ
• ブラックジャック

です。

麻雀

まずは、麻雀を試してみました。

ChatGPT(gpt-4o)

下のような感じです。

残念ながら、手牌を正常に認識することが出来てないですね。
萬子はかなり認識できていますが、筒子、索子、字牌は全然おかしいですね。

参考画像を参照させてから手牌を認識させてみましたが、参考画像の内容に引っ張られて逆におかしな感じなります。

アドバイスそのものは、それなりに定石的なことを言っているので手牌の認識の精度が上がればそれなりに麻雀を打てるようになるのではないかと思います。

Gemini 1.5 Pro

下のような感じです。

萬子は、正確にしています。
萬子以外は手牌を教えてくれませんが、後の解説をみるとやはり萬子以外は正確に認識できていないようです。

Claude3.5 Sonnet

下のような感じです。

やはり萬子は正確に把握していますが、筒子、索子はおかしいですね。字牌は問題なさそうですが、もう少し例を増やしてみないとですね。

麻雀まとめ

牌に漢数字が書いてある萬子はかなり正確に認識できていますが、筒子や索子といった数を数える牌はあまり正確に認識できないようです。
参照画像をうまく与えればもう少し精度は出せるのかもしれませんが、まだ厳しそうですね。
今後のモデル改善に期待した方が良さそうですね。

オセロ

次にオセロを試してみました。

chagGPT

下のような感じです。

盤の数え方が違うのか置ける場所を指示してくれません。

Gemini

下のような感じです。

流行り指定の盤の場所がおかしいですね。場所の解説もしていますがどうもおかしいです。。。
ただ、ChatGPTと同じ場所を指定しているように見えるので、何か同じ勘違いをしているように思います。

Claude3.5

下のような感じです。

やっぱりおかしいですが、ChatGPTとGeminiと逆の場所を指示しています。(上下左右を反転して認識しているのでしょうか？）

オセロ全体のまとめ

全て全然回答できていないようですが、全てのモデルで共通点のある回答があるため何らかの理由がありそうです。
深堀すれば、ある程度は出来るようになるのかもしれません。

チェスや将棋などのより複雑なゲームをさせるには、そこをクリアしないとです。

ブラックジャック

麻雀、オセロはちょっと複雑すぎた感があるので、ブラックジャックであれば出来るかと思い試してみました。

ChatGPT

下のような感じです。

とりあえず、手札は正確に認識して、回答も間違っていないようです。（あんまりいいアドバイスではないかもですが。。）

Gemini

下のような感じです。

手札を正常に認識できてないですね。

Calude3.5

下のような感じです。

手札は正常に認識できており、回答も間違っていません。

ブラックジャックまとめ

自分の手札については、Gemini以外正常に認識できたようです。
内容も特に間違っていません。

実際のゲームとしては、相手側の情報による部分が大きく、相手側の情報まで含めて画像から認識するのはかなり難しそうですね。

全体まとめ

元々の期待としては、画像は正常に認識した上でゲームプレイヤーとしてどの程度のレベルかを検証したかったのですが、その前の段階の画像認識による手牌、手札の認識の精度がまだまだのようです。

自分の手牌、手札を言語情報として入力すれば、それなりにゲームしてくれるかもしれませんが、それはかなり面倒ですね。。。
画像の認識精度が向上した今後のモデルに期待という感じでしょうか。。。