Gemini3 ProのVision性能をチラシチャレンジしてみた
はじめに
新しいAIモデルが登場するたびに、そのVision性能（日本語の読解および構造理解）を測るために、日本のスーパーのチラシ情報を正確に取得できるかテストする「チラシチャレンジ」を行っています。
今回は、新しくリリースされた Gemini 3 の実力を測るべく、いつものようにスーパー玉出のチラシを使って検証を行いました。比較対象として、ChatGPT(恐らくGPT5.1?)、Claude 4.5 Sonnet、Grok 4.1 といった最新モデルたちとも対決させます。
検証方法
1. テストデータ
使用するのは、情報量が多くレイアウトが複雑な「スーパー玉出」のチラシです。
タスクは、チラシ内の「木 27日 限り」という特定の枠内にある商品情報をすべて抜き出すことです。
全体のチラシ画像（引用元: スーパー玉出公式サイト）
今回のターゲットとなる「木曜日」のエリア
2. プロンプト
各モデルにはシンプルに以下の指示のみを与えました。
木曜日のお買い得商品を全て教えて
3. 正解データ (Grand Truth)
まず、正しく読み取れた場合に期待される出力（正解データ）を示します。
モデルがこれと同じ情報を出力できれば「正解」となります。
| カテゴリ | 商品名 | 内容量 | 価格（税抜） | 価格（税込） |
|---|---|---|---|---|
| 即席麺・調味料・油 | サンヨー サッポロ番「どんぶり」（しょうゆ味・みそラーメン・塩らーめん） | 各75g | 各128円 | 138円 |
| 日清オイリオ キャノーラ油・サラダ油 | 各1300g | 各498円 | 537円 | |
| 丸美屋 麻婆茄子の素（あっさりみそ味・こってりみそ味） | 各180g | 各148円 | 159円 | |
| 昭和 味覇(ウェイパァー)から揚げ粉 | 80g | 98円 | 105円 | |
| 永谷園 チャーハンの素（焼豚・五目） | 各3袋入 | 各108円 | 116円 | |
| キューピー タルタルソース | 155g | 188円 | 203円 | |
| 青果 | 秋田産・他 生しいたけ | 1パック | 178円 | 192円 |
| 大阪産・他 豆苗 | 1パック | 88円 | 95円 | |
| ペルー産・他 レッドグローブ（ぶどう） | 100g当り | 98円 | 105円 | |
| 飲料 | 泉南乳業 ネルドリップ アイスコーヒー（甘さひかえめ・無糖） | 各1000ml | 各118円 | 127円 |
| 精肉 | 豪州産 牛うす切り 切り落とし（すき煮・炒め物に） | - | 表示価格を10%引 | - |
| メキシコ産・他 豚バラ スライス（使い勝手の良いスライス） | 100g | 148円 | 159円 | |
| メキシコ産・他 豚ヘレ ブロック（カツ・酢豚に） | 100g | 138円 | 149円 | |
| 鮮魚 | インド産 天然フラワー海老（解凍） | 100g | 148円 | 159円 |
| 台湾産・他 天然大鉢 大トロハラス | 100g入／1パック | 298円 | 321円 | |
| ロシア・アメリカ産 たらこ／辛子明太子（解凍） | 80g入／各1パック | 各248円 | 267円 | |
| 数の子ワサビ（解凍） | 100g | 88円 | 95円 | |
| 日配・冷蔵食品・菓子 | 小菱屋 玉出のなめらか絹とうふ | 150g×3コパック | 69円 | 74円 |
| 紀文 マリーン | 4本入×3コパック | 138円 | 149円 | |
| ヤマザキ 酒まん／よもぎまんつぶあん／桜まん | 各3コ入 | 各88円 | 95円 |
検証結果
ここからは、成績の振るわなかった順に各モデルの回答を見ていきます。
それぞれの回答に対し、正解（⭕️）、間違い/ハルシネーション（❌）、部分正解（🔺）を判定しました。
Grok 4.1
Grok 4.1の実際の回答画面
このチラシは「スーパー玉出」の週末チラシ（2025年11月21日〜27日）で、
木曜日（11月27日）限定のお買い得商品は、チラシの下段緑色の枠で囲まれている部分です。
11月27日（木）限定 お買い得商品一覧
肉類
- ❌ 米国産牛肩ロースすき焼き用 100g → 380円（税込410円）
- ❌ 若鶏もも肉 100g → 68円（税込73円）
- ❌ 豚ロースしゃぶしゃぶ用 100g → 98円（税込105円）
- ❌ 豚小間切れ 100g → 88円（税込95円）
加工肉・ハムなど
- ❌ カントリーマアム チョコまみれ 各種 → 218円（税込235円）
- ❌ ポテトチップス コンソメパンチ 大袋 → 98円（税込105円）
- ❌ ポテトチップス うすしお 大袋 → 98円（税込105円）
飲料・お酒
- ❌ アサヒスーパードライ 350ml×6缶 → 638円（税込701円）
- ❌ アサヒスーパードライ 500ml×6缶 → 938円（税込1,031円）
- ❌ サントリー金麦 350ml×6缶 → 498円（税込547円）
- ❌ サントリー金麦 500ml×6缶 → 738円（税込811円）
その他
- ❌ ハウス Vermontカレー 各種 → 138円（税込149円）
- ❌ ハウス バーモントカレー 甘口・中辛 大容量 → 298円（税込321円）
- ❌ 日清 どん兵衛 きつねうどん・天ぷらそば 各種 → 98円（税込105円）
- ❌ マルちゃん 正麺 各種5食パック → 398円（税込429円）
これが2025年11月27日（木曜日）限定の特別価格商品の全リストです！
この日は特にビール類とお肉がかなり安くなっていますね。
個人的には"カントリーマアム チョコまみれ"というスタンダードじゃないところを推していたり、金麦とスーパードライをサイズ別でどうしても売りたいってところがすごく興味深かったですw
評価:
チラシに記載のない商品（米国産牛肩ロース、アサヒスーパードライなど）を列挙しており、完全にハルシネーション（ハルシネーション）を起こしています。
Claude 4.5 Sonnet
Claude 4.5 Sonnetの実際の回答画面
この玉出スーパーのチラシから、木曜日（27日）のお買い得商品をお伝えします：
生鮮食品
- ❌ バナナ：128円（税込138円）
- ❌ 水菜：98円（税込106円）
冷蔵・冷凍食品
- 🔺 サッポロ一番（みそラーメン）：118円（税込127円） (※商品名は合っているが価格が間違い)
- ❌ マルシンハンバーグ：69円（税込74円）
- ❌ 焼肉のたれ：108円（税込116円）
- ❌ ふっくら鶏むね肉の唐揚げ：178円（税込192円）
- ❌ アサヒもつ鍋の素：148円（税込159円）
- ❌ 豚ロース切り落とし：148円（税込159円）
- ❌ 卵：188円（税込203円）
- ❌ 国産若どりもも肉：178円（税込192円）
加工食品・飲料
- ❌ ビーフンソース味：118円（税込127円）
- ❌ アイスコーヒー加糖：105円
- ❌ カルピスウォーター：105円
- ❌ サンガリアお茶：88円（税込95円）
- ❌ 明星ご当地インスタント麺：188円（税込203円）
- ❌ 鶏炭火焼：108円（税込116円）
- ❌ 豆乳：88円（税込95円）
木曜日は野菜、肉類、麺類などを中心にお買い得になっていますね
サンガリアのお茶って商品実在するんですね、ぐぐったら出てきました。
評価:
こちらも同様に、バナナや水菜など、対象エリアに存在しない商品を挙げています。レイアウトの複雑さに対応できず、一般的なスーパーの特売品のイメージを出力してしまったようです。
ChatGPT (恐らくGPT5.1?)
ChatGPTの実際の回答画面
木曜日（2月27日）の“お買い得商品”は、チラシの 「木 2月27日限り」 の枠内にあるこちらです👇
🟦 木曜（2/27）のお買い得商品一覧
🍜 サッポロ一番 どんぶり（各種）
- ⭕️ しょうゆ味
- ⭕️ みそラーメン
- ⭕️ しおラーメン
➡ 各 128円（税込 138円）
☕ ネルドリップ アイスコーヒー（甘さひかえめ／無糖）
- ⭕️ 1000ml
➡ 各 118円（税込 127円）
🍗 味覇（ウェイパー）から揚げ粉
- ⭕️ 80g
➡ 98円（税込 105円）
🟨 絹とうふ （玉出のなめらか絹とうふ）
- ⭕️ 150g × 3パック
➡ 69円（税込 74円）
必要なら、ほかの曜日の商品一覧もまとめるよ！
評価:
出力された情報はすべて正確です。しかし、20個ある商品のうち4個しか抽出できていません。自信のない部分は出力しないという安全策をとっているようですが、網羅性という点では課題が残ります。
Gemini 3 Pro
Gemini 3 Proの実際の回答画面
チラシの右側中段にある「木 27日 限り」のコーナーに掲載されているお買い得商品は以下の通りです。
【一般食品・調味料・飲料】
- ⭕️ 日清オイリオ キャノーラ油 (1300g)：498円（税込537円）
- ⭕️ サッポロ一番 どんぶり (しょうゆ味・塩らーめん・みそラーメン 各75g)：128円（税込138円）
- ⭕️ 丸美屋 麻婆茄子の素 (あっさりみそ味・こってりみそ味 各180g)：148円（税込159円）
- ⭕️ 泉南乳業 ネルドリップ アイスコーヒー (甘さひかえめ・無糖 各1000ml)：118円（税込127円）
【青果】
- ⭕️ 秋田産他 生しいたけ (1パック)：178円（税込192円）
- ⭕️ ペルー産他 レッドグローブ (100g当り)：98円（税込105円）
【精肉・鮮魚】
- 🔺 メキシコ産他 豚バラブロック (100g)：148円（税込159円） (※正解は「スライス」)
- ⭕️ メキシコ産他 豚ヘレブロック (100g)：138円（税込149円）
- ⭕️ ロシア・アメリカ産 たらこ・辛子明太子 (解凍・各80g入)：248円（税込267円）
- ⭕️ 数の子ワサビ (解凍・100g)：88円（税込95円）
【日配・デザート】
- ⭕️ 小豆屋 玉出のおなじみ 絹とうふ (150g×3個パック)：69円（税込74円）
- ❌ 大阪産他 豆腐 (1パック)：88円（税込95円） (※存在しない商品)
- 🔺 ヤマザキ 酒まん・純米大吟醸酒粕入りこしあん (4本入×3パック)：138円（税込149円） (※価格は合っているが商品名混同)
- 🔺 紀文 よもぎまん・つぶあん・桜まん (各3コ入)：88円（税込95円） (※メーカー名混同)
評価:
「キャノーラ油」や「麻婆茄子の素」など、他のモデルが見落とした商品もしっかり認識しています。一部、価格の読み取りミスやメーカー名の混同（ヤマザキと紀文など）は見られますが、何が書かれているかをここまで詳細に認識できたのはGemini 3だけでした。
まとめ
今回の「チラシチャレンジ」の結果を定量的にまとめました。
正解データの全20商品に対し、各モデルがどれだけ正確に情報を抽出できたか（Recall）、および存在しない情報を捏造してしまったか（Hallucination）を集計しています。
| モデル | 正解数 (Recall) | 部分正解 | 抽出漏れ | ハルシネーション | 評価 |
|---|---|---|---|---|---|
| Gemini 3 Pro | 10/20 | 3 | 7 | 1 | 実用圏内。複雑なレイアウトも理解し、大部分の商品を抽出できた。 |
| ChatGPT | 4/20 | 0 | 16 | 0 | 正確だが、読み取り漏れが多すぎて実用的ではない。 |
| Claude 4.5 | 0/20 | 1 | 19 | 15 | ハルシネーションが多く、使用不可。 |
| Grok 4.1 | 0/20 | 0 | 20 | 15 | ハルシネーションが多く、使用不可。 |
※ 正解数: 商品名・価格・内容量などがほぼ正確に一致したもの。
※ 部分正解: 商品自体は認識しているが、価格間違いや商品名の混同などがあったもの。
れみお感想
Gemini1.5のときからこのチラシチャレンジやVision性能はかなり高いと理解してましたが、今回のGemini 3のVision性能は、更に精度が向上したのでは！？と感じさせられました。
正解データを作るとき木曜日の部分だけをトリミングしてGemini3 Proに同様に投げたのですが、98%くらいの精度でほぼ修正なしの正解データを作成できました！
Browser UseのスコアもGemini3が一番高いみたいなのが今日流れてきたので、この前失敗したえきねっとチャレンジも試してみたいです。
Discussion