【検証】ごみ収集カレンダーPDFをLLMに読ませたら、Gemini 3 Proだけが正解できた話
はじめに
個人開発で「ごみ収集日をGoogleカレンダーに自動追加するWebアプリ」を作っています。
開発中に一番困ったのはデータ収集でした。自治体によってごみ収集日の公開形式がバラバラで、港区のようにPDFカレンダーで提供している地域も多いです。
「これ、LLMに読ませれば自動化できるのでは？」
そう思って、各社のLLMモデルがPDFからごみ収集日を正確に抽出できるか検証してみました。結果は予想外でした。
検証内容
対象PDF
港区が公開しているごみ収集カレンダーPDFを使用しました。
このPDFは12ヶ月分のカレンダーが1ページに収まっており、各日付の下にごみの種類（可燃・不燃・プラ・資源）が記載されています。
こちらのpdfをダウンロードして、各モデルにアップロードしました。
テスト対象モデル
| モデル | プラットフォーム |
|---|---|
| gemini-3-pro-preview | Vertex AI Studio |
| gemini-2.5-pro | Vertex AI Studio |
| gemini-2.5-flash | Vertex AI Studio |
| claude-sonnet-4-5-20250929 | Claude Console |
各モデルの設定
すべてのモデルで Safety Settings は OFF に設定しています。
| モデル | maxOutputTokens | temperature | topP | Thinking設定 |
|---|---|---|---|---|
| gemini-3-pro-preview | 65535 | 1 | 1 | thinkingLevel: HIGH |
| gemini-2.5-pro | 65535 | 1 | 1 | thinkingBudget: 32768 |
| gemini-2.5-flash | 65535 | 1 | 1 | thinkingBudget: 24576 |
| claude-sonnet-4-5-20250929 | - | 1 | - | Thinking: ON |
※ GeminiモデルはVertex AI Studio、ClaudeはClaude Consoleでテスト
プロンプト
System Prompt:
ユーザが提供したPDFファイルのみを参考してください。
参考ができない場合は取得不可と回答し、他のリソースからは回答しないでください。
User Prompt:
六本木1丁目の各ごみの収集曜日を教えてください
正解
PDFから読み取れる正解は以下の通りです：
| ごみの種類 | 収集曜日 |
|---|---|
| 可燃ごみ | 毎週月曜日・木曜日 |
| 不燃ごみ | 第2・第4火曜日 |
| 資源プラスチック | 毎週水曜日 |
| 古紙・ペットボトル・びん・かん | 毎週土曜日 |
判定基準： 1つでも間違いがあれば不正解、出力の形式は問わない
検証結果
各モデルで10回ずつテストした結果がこちらです。
| モデル | 正解率 |
|---|---|
| gemini-3-pro-preview | 10/10 ✅ |
| gemini-2.5-pro | 2/10 |
| gemini-2.5-flash | 0/10 |
| claude-sonnet-4-5-20250929 | 0/10 |
Gemini 3 Pro Previewが圧倒的でした。
各モデルの出力例
gemini-3-pro-preview（正解）
正確にすべての収集曜日を抽出できています。
gemini-2.5-pro（不正解）
claude-sonnet-4-5-20250929（不正解）
考察
なぜGemini 3 Proだけが正解できたのか
このPDFカレンダーは、人間にとっても読み取りが難しいレイアウトです：
- 12ヶ月分のカレンダーが1ページに密集
- 日付と収集種類の対応関係を把握する必要がある
- 複数の地域が同じPDFに含まれている
Gemini 3 Pro Previewは、このような複雑なレイアウトのDocument Understandingにおいて、他モデルより優れた性能を発揮しているようです。
注意点
- Geminiモデルは
thinkingConfigを有効にしてテスト - 各モデルの
temperature: 1で実行 - 1つのPDFでの検証なので、他の形式では結果が異なる可能性あり
まとめ
ごみ収集カレンダーPDFの解析において、Gemini 3 Pro Previewが他モデルを大きく引き離す結果となりました。
個人開発でDocument Understandingが必要な場合、まずGemini 3 Proを試してみる価値がありそうです。
今後は他の自治体のPDF形式でも検証を進めていきたいと思います。
リポジトリ
Discussion