LlamaCloudの 「agentic chart parsing」 を試す

# 日本中央競馬: 売得金及び入場人員の推移

<table>
<thead>
<tr>
  <th></th>
  <th colspan="2">売得金額（億円）</th>
  <th colspan="2">開催場入場人員（万人）</th>
</tr>
</thead>
<tbody>
<tr>
  <td>年</td>
<td>売得金額</td>
<td></td>
<td>入場人員</td>
<td></td>
</tr>
<tr><td>H9</td><td>40,000</td><td></td><td>1,300</td><td></td></tr>
<tr><td>H10</td><td>38,000</td><td></td><td>1,200</td><td></td></tr>
<tr><td>H11</td><td>36,000</td><td></td><td>1,100</td><td></td></tr>
<tr><td>H12</td><td>34,000</td><td></td><td>1,100</td><td></td></tr>
<tr><td>H13</td><td>32,000</td><td></td><td>950</td><td></td></tr>
<tr><td>H14</td><td>31,000</td><td></td><td>850</td><td></td></tr>
<tr><td>H15</td><td>30,000</td><td></td><td>830</td><td></td></tr>
<tr><td>H16</td><td>29,000</td><td></td><td>800</td><td></td></tr>
<tr><td>H17</td><td>29,000</td><td></td><td>800</td><td></td></tr>
<tr><td>H18</td><td>28,000</td><td></td><td>750</td><td></td></tr>
<tr><td>H19</td><td>27,000</td><td></td><td>740</td><td></td></tr>
<tr><td>H20</td><td>26,000</td><td></td><td>730</td><td></td></tr>
<tr><td>H21</td><td>25,000</td><td></td><td>650</td><td></td></tr>
<tr><td>H22</td><td>23,000</td><td></td><td>600</td><td></td></tr>
<tr><td>H23</td><td>24,000</td><td></td><td>600</td><td></td></tr>
<tr><td>H24</td><td>24,000</td><td></td><td>590</td><td></td></tr>
<tr><td>H25</td><td>25,000</td><td></td><td>600</td><td></td></tr>
<tr><td>H26</td><td>26,000</td><td></td><td>610</td><td></td></tr>
<tr><td>H27</td><td>27,000</td><td></td><td>620</td><td></td></tr>
<tr><td>H28</td><td>28,000</td><td></td><td>620</td><td></td></tr>
<tr><td>H29</td><td>29,000</td><td></td><td>620</td><td></td></tr>
<tr><td>H30</td><td>30,000</td><td></td><td>620</td><td></td></tr>
<tr><td>R1</td><td>32,000</td><td></td><td>620</td><td></td></tr>
<tr><td>R2</td><td>33,000</td><td></td><td>100</td><td></td></tr>
<tr><td>R3</td><td>33,000</td><td></td><td>80</td><td></td></tr>
<tr><td>R4</td><td>33,000</td><td></td><td>300</td><td></td></tr>
<tr><td>R5</td><td>33,000</td><td></td><td>450</td><td></td></tr>
<tr><td>R6</td><td>33,000</td><td></td><td>500</td><td></td></tr>
</tbody>
</table>

# 日本中央競馬: 売得金及び入場人員の推移

■ 売得金額（億円）　● 開催場入場人員（万人）

<table>
<thead>
<tr>
<th>年</th>
<th>売得金額（億円）</th>
<th>開催場入場人員（万人）</th>
</tr>
</thead>
<tbody>
<tr>
<td>H9</td>
<td>39,800</td>
<td>1,300</td>
</tr>
<tr>
<td>H10</td>
<td>37,800</td>
<td>1,220</td>
</tr>
<tr>
<td>H11</td>
<td>36,500</td>
<td>1,150</td>
</tr>
<tr>
<td>H12</td>
<td>34,500</td>
<td>1,100</td>
</tr>
<tr>
<td>H13</td>
<td>32,200</td>
<td>980</td>
</tr>
<tr>
<td>H14</td>
<td>31,200</td>
<td>870</td>
</tr>
<tr>
<td>H15</td>
<td>30,000</td>
<td>850</td>
</tr>
<tr>
<td>H16</td>
<td>29,200</td>
<td>820</td>
</tr>
<tr>
<td>H17</td>
<td>28,800</td>
<td>800</td>
</tr>
<tr>
<td>H18</td>
<td>28,200</td>
<td>760</td>
</tr>
<tr>
<td>H19</td>
<td>27,500</td>
<td>750</td>
</tr>
<tr>
<td>H20</td>
<td>27,200</td>
<td>740</td>
</tr>
<tr>
<td>H21</td>
<td>25,800</td>
<td>730</td>
</tr>
<tr>
<td>H22</td>
<td>24,200</td>
<td>680</td>
</tr>
<tr>
<td>H23</td>
<td>22,800</td>
<td>620</td>
</tr>
<tr>
<td>H24</td>
<td>23,800</td>
<td>610</td>
</tr>
<tr>
<td>H25</td>
<td>23,800</td>
<td>610</td>
</tr>
<tr>
<td>H26</td>
<td>24,800</td>
<td>610</td>
</tr>
<tr>
<td>H27</td>
<td>25,800</td>
<td>620</td>
</tr>
<tr>
<td>H28</td>
<td>26,800</td>
<td>620</td>
</tr>
<tr>
<td>H29</td>
<td>27,200</td>
<td>620</td>
</tr>
<tr>
<td>H30</td>
<td>28,200</td>
<td>620</td>
</tr>
<tr>
<td>R1</td>
<td>28,800</td>
<td>620</td>
</tr>
<tr>
<td>R2</td>
<td>29,500</td>
<td>100</td>
</tr>
<tr>
<td>R3</td>
<td>30,800</td>
<td>80</td>
</tr>
<tr>
<td>R4</td>
<td>32,500</td>
<td>280</td>
</tr>
<tr>
<td>R5</td>
<td>32,800</td>
<td>460</td>
</tr>
<tr>
<td>R6</td>
<td>33,200</td>
<td>500</td>
</tr>
</tbody>
</table>

from google import genai
from google.genai import types
import pathlib

client = genai.Client()

pdf_file = pathlib.Path('chart.pdf')

response = client.models.generate_content(
    model="gemini-3-pro-preview",
    contents=[
        types.Part(text="グラフの値を抽出して表にしてください。"),
        types.Part.from_bytes(
            data=pdf_file.read_bytes(),
            mime_type='application/pdf',
            media_resolution={"level": "media_resolution_medium"}
        )
    ],
)

print(response.text)

ご提示いただいたグラフ（日本中央競馬：売得金及び入場人員の推移）から、各年の数値を読み取り、表にまとめました。

※あくまでグラフの目視による概算値ですので、正確な統計データとは多少の誤差がある可能性があります。

### グラフデータ抽出表

| 年 | 売得金額（億円）<br>【青い棒グラフ】 | 開催場入場人員（万人）<br>【赤い折れ線】 |
| :---: | :---: | :---: |
| **H9** | 40,000 | 1,300 |
| **H10** | 38,000 | 1,230 |
| **H11** | 36,500 | 1,140 |
| **H12** | 34,300 | 1,100 |
| **H13** | 32,500 | 970 |
| **H14** | 31,200 | 870 |
| **H15** | 30,200 | 810 |
| **H16** | 29,300 | 810 |
| **H17** | 28,900 | 810 |
| **H18** | 28,100 | 750 |
| **H19** | 27,600 | 760 |
| **H20** | 27,500 | 740 |
| **H21** | 25,900 | 730 |
| **H22** | 24,200 | 680 |
| **H23** | 22,900 | 620 |
| **H24** | 24,000 | 620 |
| **H25** | 24,100 | 610 |
| **H26** | 24,900 | 620 |
| **H27** | 25,800 | 630 |
| **H28** | 26,700 | 630 |
| **H29** | 27,400 | 620 |
| **H30** | 27,900 | 630 |
| **R1** | 28,800 | 630 |
| **R2** | 29,800 | 100 |
| **R3** | 30,900 | 75 |
| **R4** | 32,500 | 280 |
| **R5** | 32,800 | 470 |
| **R6** | 33,100 | 520 |

### 傾向の補足
*   **売得金額（青）**: 平成9年（H9）の4兆円をピークに減少傾向にありましたが、平成23年（H23）頃に底を打ち、その後はV字回復して令和に入ってからも上昇を続けています。
*   **入場人員（赤）**: 平成初期から減少が続き、平成23年以降は600万人前後で横ばいでした。しかし、令和2年（R2）にコロナ禍の影響と思われる激減（無観客競馬など）があり、その後R4年頃から徐々に回復傾向にあります。

!pip install -U transformers
!pip install qwen-vl-utils

!wget https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.4.15/flash_attn-2.8.3+cu126torch2.9-cp312-cp312-linux_x86_64.whl
!pip install --no-dependencies --upgrade flash_attn-2.8.3+cu126torch2.9-cp312-cp312-linux_x86_64.whl

!pip freeze | egrep -i "^(transformers|qwen-vl-utils|flash_attn)"

flash_attn @ file:///content/flash_attn-2.8.3%2Bcu126torch2.9-cp312-cp312-linux_x86_64.whl#sha256=89703de69876470864d63d66f20b16958c4b88d1650a9f84971952fa0b1afade
qwen-vl-utils==0.0.14
transformers==4.57.2

from transformers import Qwen3VLForConditionalGeneration, AutoProcessor

model_path = "Qwen/Qwen3-VL-8B-Instruct"
processor = AutoProcessor.from_pretrained(model_path)
model = Qwen3VLForConditionalGeneration.from_pretrained(
    model_path,
    dtype="auto",
    device_map="auto",
    attn_implementation="flash_attention_2",
)

import torch
from transformers import (
    LogitsProcessor,
    LogitsProcessorList,
)
from qwen_vl_utils import process_vision_info


class PresencePenaltyProcessor(LogitsProcessor):
    """
    Apply a presence penalty: discourage generating tokens that have already appeared
    in the generated sequence (not frequency-based, but presence-based).
    This mimics OpenAI-style presence_penalty in a simple way by subtracting a fixed
    penalty from logits of any token present at least once in the generated tokens.
    """
    def __init__(self, presence_penalty: float):
        super().__init__()
        if presence_penalty < 0:
            raise ValueError("presence_penalty must be >= 0.")
        self.presence_penalty = presence_penalty

    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor) -> torch.FloatTensor:
        # input_ids shape: (batch, cur_len)
        # scores shape: (batch, vocab_size)
        batch_size = input_ids.shape[0]
        for b in range(batch_size):
            seen = set(input_ids[b].tolist())
            if len(seen) == 0:
                continue
            # Subtract penalty from logits of seen tokens
            # Note: scores[b] is (vocab_size,)
            # Efficient masking
            indices = torch.tensor(list(seen), device=scores.device, dtype=torch.long)
            # Clamp indices to valid range just in case
            indices = indices[(indices >= 0) & (indices < scores.shape[-1])]
            if indices.numel() > 0:
                scores[b, indices] -= self.presence_penalty
        return scores


def inference(
        messages,
        max_new_tokens=16384,
        do_sample=True,
        top_p=0.8,
        top_k=20,
        temperature=0.7,
        repetition_penalty=1.0,
        presence_penalty=1.5
    ):
    """
    Generates a response from the Qwen3-VL model based on the provided messages and generation options.

    Args:
        messages (list): A list of message dictionaries in the expected format.
        max_new_tokens (int): The maximum number of new tokens to generate.
        do_sample (bool): Whether to use sampling.
        top_p (float): The cumulative probability for top-p sampling.
        top_k (int): The number of highest probability vocabulary tokens to keep for top-k sampling.
        temperature (float): The temperature for sampling.
        repetition_penalty (float): The penalty for repeating tokens.
        presence_penalty (float): The penalty for tokens that have already appeared.

    Returns:
        str: The generated text response.
    """
    text = processor.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    images, videos, video_kwargs = process_vision_info(
        messages,
        image_patch_size=16,
        return_video_kwargs=True,
        return_video_metadata=True
    )

    if videos is not None:
        videos, video_metadatas = zip(*videos)
        videos, video_metadatas = list(videos), list(video_metadatas)
    else:
        video_metadatas = None

    inputs = processor(
        text=text,
        images=images,
        videos=videos,
        video_metadata=video_metadatas,
        return_tensors="pt",
        do_resize=False,
        **video_kwargs
    )
    inputs = inputs.to(model.device)

    logits_processors = LogitsProcessorList()
    if presence_penalty and presence_penalty > 0:
        logits_processors.append(PresencePenaltyProcessor(presence_penalty))

    generated_ids = model.generate(
        **inputs,
        max_new_tokens=max_new_tokens,
        do_sample=do_sample,
        top_p=top_p,
        top_k=top_k,
        temperature=temperature,
        repetition_penalty=repetition_penalty,
        logits_processor=logits_processors,
    )

    generated_ids_trimmed = [
        out_ids[len(in_ids) :]
        for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )
    return output_text[0]

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://storage.googleapis.com/zenn-user-upload/4ea209522f5b-20251109.png",
            },
            {
                "type": "text",
                "text": "グラフの値を抽出して表にしてください。"
            },
        ],
    }
]

response = inference(messages)
print(response)

以下は、提供されたグラフ「日本中央競馬: 売得金及び入場人員の推移」から抽出したデータを年（H9〜R6）ごとに整理した表です。

---

### **売得金額（億円）と開催場入場人員（万人）**

| 年  | 売得金額（億円） | 開催場入場人員（万人） |
|-----|------------------|------------------------|
| H9  | 40,000           | 1,300                  |
| H10 | 38,000           | 1,250                  |
| H11 | 37,000           | 1,200                  |
| H12 | 35,000           | 1,150                  |
| H13 | 32,000           | 1,100                  |
| H14 | 31,000           | 1,050                  |
| H15 | 30,000           | 1,000                  |
| H16 | 29,000           | 950                    |
| H17 | 28,000           | 900                    |
| H18 | 27,000           | 850                    |
| H19 | 27,000           | 850                    |
| H20 | 27,000           | 850                    |
| H21 | 25,000           | 800                    |
| H22 | 23,000           | 750                    |
| H23 | 21,000           | 700                    |
| H24 | 22,000           | 700                    |
| H25 | 23,000           | 700                    |
| H26 | 24,000           | 700                    |
| H27 | 25,000           | 700                    |
| H28 | 26,000           | 700                    |
| H29 | 27,000           | 700                    |
| H30 | 28,000           | 700                    |
| R1  | 28,000           | 700                    |
| R2  | 20,000           | 200                    |
| R3  | 15,000           | 100                    |
| R4  | 30,000           | 350                    |
| R5  | 32,000           | 450                    |
| R6  | 33,000           | 550                    |

---

### **備考：**
- **売得金額**は青い棒グラフで示され、単位は「億円」。
- **入場人員**は赤い折れ線グラフで示され、単位は「万人」。
- 年の表記は「H」が平成、「R」が令和を意味します。
- 数値はグラフの目盛りから読み取った近似値であり、正確な数字ではありません。

この表により、売得金額と入場人員の推移を年次で比較・分析することができます。

以下は、提供されたグラフから抽出したデータを表形式で整理したものです。横軸は「年」（H9～R6）、縦軸左は「売得金額（億円）」、縦軸右は「開催場入場人員（万人）」を示しています。

---

### 日本中央競馬：売得金及び入場人員の推移

| 年   | 売得金額（億円） | 開催場入場人員（万人） |
|------|------------------|------------------------|
| H9   | 40,000           | 1,400                  |
| H10  | 38,000           | 1,300                  |
| H11  | 35,000           | 1,200                  |
| H12  | 34,000           | 1,100                  |
| H13  | 32,000           | 1,000                  |
| H14  | 30,000           | 900                    |
| H15  | 29,000           | 800                    |
| H16  | 27,000           | 700                    |
| H17  | 26,000           | 650                    |
| H18  | 25,000           | 600                    |
| H19  | 24,000           | 550                    |
| H20  | 23,000           | 500                    |
| H21  | 22,000           | 450                    |
| H22  | 21,000           | 400                    |
| H23  | 20,000           | 350                    |
| H24  | 20,000           | 300                    |
| H25  | 20,000           | 250                    |
| H26  | 21,000           | 200                    |
| H27  | 22,000           | 150                    |
| H28  | 22,000           | 150                    |
| H29  | 22,000           | 150                    |
| H30  | 22,000           | 150                    |
| R1   | 22,000           | 100                    |
| R2   | 22,000           | 50                     |
| R3   | 22,000           | 100                    |
| R4   | 22,000           | 300                    |
| R5   | 22,000           | 500                    |
| R6   | 22,000           | 600                    |

---

※ 注：
- 「H」は平成年、「R」は令和年。
- 「H9」は平成9年（1997年）、R1は令和元年（2019年）などと対応する。
- データはグラフ上の目盛りに基づき、近似値として記載しています。正確な数値は原グラフのデータポイントに依存します。
- 入場人員は「万人」単位、売得金額は「億円」単位です。

--- 

この表は、グラフの傾向を可視化したものであり、売得金額は全体的に減少傾向にあり、入場人員も同様に減少し、その後再び上昇していることが読み取れます。