AIにマインスイーパーを解かせる
背景
汎用的なLLM(以下AI)にコーディングの大半を任せて久しいですが、人間の欲には限りが無いもので、PCのUIを操作してタスクを実行してくれたら嬉しいな~と思うことがあります。
これができると、
- CLIが準備されていないアプリでタスクを行わせることができる
- AIのタスク進行状況が視覚に現れるので人間がタスク状況を把握しやすい
- 人間⇔AIの双方向でのタスク連携がしやすい
といったメリットがあり、非常に嬉しいです。
僕と同じような考えの人はかなりいて、既に一部では取り組まれているテーマなようですが、まだまだ発展途上な領域です。
そこで、「AIはPCのUIを操作してタスクを行うことができるのか」という検証のためにAIにマインスイーパーをやらせてみることにしました。
なぜマインスイーパー?
ディスプレイは「マス目」とみなせます。全てのUIはマス目に色情報が乗っかったものです。
マインスイーパーはマス目に数字が載ったゲームであり、めちゃくちゃ抽象化したディスプレイと言えなくもないです。そのため、この検証に最適と考えました。
(実際は好奇心によるところが大きいです。こういった理由は後付けで考えました。)
手順
マインスイーパー(+MCP)を作成
Cursorに命令してマインスイーパーと、それをAIで扱えるようにするMCPサーバーの仕組みを作らせます。

プロンプトは
AIがプレイ可能なマインスイーパーを作成したいです。
まずは、普通にマインスイーパーを作り、人間がプレイして動作を確認。
その後、そのマインスイーパーをMCPサーバーとして公開。
ツールとして
「ルール確認」
「セルの状況確認」
「セルに予想フラグ(ここに地雷があると予想)を置く」
「セルを押下する」
を提供し、AIがプレイできるようにする、と言う流れです。理解できましたか?
と言った感じですね!細かなエラーはありましたが、これで大体完成しました。
リポジトリ:https://github.com/Rensumaho/mine-sweeper
CursorにMCPを設定


今回はCursorにマインスイーパーをプレイしてもらいます。
サーバー立ち上げ



モデルを選択し命令

これで、Cursorがマインスイーパーをプレイしてくれます。
実際の様子
6つのモデルでプレイしました。結果は以下のようになりました。
(Cursorのリクエスト制限に怯えていたのでそれぞれ各モデル数回しか検証していません。正確なデータとは言い難いです…!ご了承ください。)
| モデル | クリア時間 |
|---|---|
| claude-sonnet 4.5 | クリアできず |
| claude-opus 4.5 | クリアできず |
| Grok Code | クリアできず |
| Composer 1 | クリアできず |
| Gemini 3 Flash | 約2分 |
| GPT-5.2 | 約4分 |
Geminiの推論

マインスイーパーのセオリーである「角の1は地雷確定」を理解している

もう一つのセオリー、「セルの数字と周囲のフラグの数が同一の場合、周囲の未開封セルは安全」を理解している。

見事クリア
GPTの推論

「角の1は地雷確定」だけでなく、「隣接数の連立」というよくわからない理屈で地雷を確定。
マインスイーパーが上手い or まぐれ
どっちでしょうね。何度かやってすべてクリアできているので、まぐれではなくちゃんとした理論に基づいた推論である可能性が高いと思われますが。

運が絡む場面ではしっかり悩む

無事勝利!
claudeの推論

めちゃくちゃ。セオリーガン無視。claude、composer、grokは終始こんな感じなので、どんなことがあってもクリアできないだろうな~
動画
上記に掲載した画像の元であるプレイ動画です。
感想・考察
claude一強ではない
クリアできたのはGeminiとGPTでした。特にGeminiはGPTの倍の速度です。
これは意外でした。grokやcomposerはともかく、claudeが明確に苦手な領域というのを初めて発見しました。普段の仕事ではclaude以外使わないくらいにはclaudeのことを信用しているのですが、これからは他のモデルにも目を向けてみようと思います。
なぜGPTとGeminiだけクリアできた?
claudeやcomposerはコード生成に強いというイメージがあります。一方で、GPTやGeminiは画像生成なんかも得意な印象です。だから、セル同士の相互作用について推論するみたいなことが得意なのかな?と思いました。(厳密には同じGPT、Geminiでも画像生成とコードではモデルが異なるのかもしれません。そのあたりあまり詳しくないのでわかりません…!)
まとめ
検証の結果、適切なMCPとモデル選定を行えば、UIを操作させるようなタスクも可能だとわかりました。とはいえ、簡単なマインスイーパーをクリアするのに数分かかります。まだまだ汎用的なLLMにUIを操作するタスクを任せるのは難しそうです。
今回の検証で最も価値のある発見は、「claudeにも不得意なことがある」とわかったことでした。今後は「このタスクはAIにはできないな」とあきらめる前に、色々なモデルを試してみようと思います!
Discussion