超軽量なOCR向けVLM「LightOnOCR-1B」を試す

mkdir lightonocr-work && cd $_
uv venv --python 3.12 --seed
source .venv/bin/activate

uv pip install -U vllm \
    --torch-backend=auto \
    --extra-index-url https://wheels.vllm.ai/nightly \
    --prerelease=allow

  × Failed to resolve dependencies for `vllm` (v0.11.1rc3.dev57+g6454afec9.cu129)
  ╰─▶ Package `triton-kernels` was included as a URL dependency. URL dependencies must be
      expressed as direct requirements or constraints. Consider adding `triton-kernels @
      git+https://github.com/triton-lang/triton.git@v3.5.0#subdirectory=python/triton_kernels` to your dependencies or
      constraints file.

uv pip install -U vllm \
    "triton-kernels @ git+https://github.com/triton-lang/triton.git@v3.5.0#subdirectory=python/triton_kernels" \
    --torch-backend=auto \
    --extra-index-url https://wheels.vllm.ai/nightly \
    --prerelease=allow

(snip)
 + pillow==12.0.0
(snip)
 + requests==2.32.5
(snip)
 + triton-kernels==1.0.0 (from git+https://github.com/triton-lang/triton.git@c3c476f357f1e9768ea4e45aa5c17528449ab9ef#subdirectory=python/triton_kernels)
(snip)
 + vllm==0.11.1rc3.dev57+g6454afec9.cu129
(snip)

uv pip install pypdfium2 pillow requests

 + pypdfium2==4.30.0

vllm serve lightonai/LightOnOCR-1B-1025 \
    --limit-mm-per-prompt '{"image": 1}' \
    --async-scheduling

(snip)
(APIServer pid=263283) INFO:     Started server process [263283]
(APIServer pid=263283) INFO:     Waiting for application startup.
(APIServer pid=263283) INFO:     Application startup complete.

wget https://www.city.kobe.lg.jp/documents/15123/r5_doukou.pdf

import base64
import requests
import pypdfium2 as pdfium
import io

ENDPOINT = "http://localhost:8000/v1/chat/completions"
MODEL = "lightonai/LightOnOCR-1B-1025"

# PDFファイルのパス
pdf_path = "r5_doukou.pdf" 

# PDFを開いて1ページ目を画像に変換
pdf = pdfium.PdfDocument(pdf_path)
page = pdf[0] 
# 300 DPI でレンダリング（スケール係数 = 300/72 ≈ 4.17）
pil_image = page.render(scale=4.17).to_pil()

# base64に変換
buffer = io.BytesIO()
pil_image.save(buffer, format="PNG")
image_base64 = base64.b64encode(buffer.getvalue()).decode('utf-8')

# リクエスト
payload = {
    "model": MODEL,
    "messages": [{
        "role": "user",
        "content": [{
            "type": "image_url",
            "image_url": {"url": f"data:image/png;base64,{image_base64}"}
        }]
    }],
    "max_tokens": 6500,
    "temperature": 0.2,
    "top_p": 0.9,
}

response = requests.post(ENDPOINT, json=payload)
text = response.json()['choices'][0]['message']['content']
print(text)

time uv run pdf_inference_sample.py

# 令和5年度 神戸市観光動向調査結果について

## 調査目的
本調査は、来神観光客の特質と神戸市内の観光動向を把握し、今後の観光行政の参考とすることを目的に実施。

## 調査方法
調査員が対面にてアンケート項目を聞き取りする形で実施。

## 調査日
1. 令和5年5月13日（土）・20日（土）
2. 令和5年9月9日（土）
3. 令和5年11月25日（土）／12月2日（土）
4. 令和6年2月10日（土）・17日（土）・24日／3月30日（土）

※雨天等により、一部の調査地点については延期して実施。

## 調査地点

| 地区       | NO | 調査地点                                                                 | サンプル数 |
|------------|----|--------------------------------------------------------------------------|------------|
| 北野       | 1  | 北野町広場                                                               | 246        |
|            | 2  | 北野工房のまち                                                            | 154        |
|            | 3  | 南京町広場                                                               | 218        |
|            | 4  | 総合インフォメーションセンター                                               | 198        |
|            | 5  | 旧居留地                                                                 | 201        |
|            | 6  | 神戸布引ロープウェイハーブ園山麓駅                                          | 203        |
|            | 7  | 白鶴酒造資料館内                                                          | 205        |
|            | 8  | 玉子動物園内                                                             | 235        |
|            | 9  | 県立美術館前                                                              | 217        |
|            | 10 | さんちか夢広場                                                            | 208        |
|            | 11 | 神戸空港屋上階展望ロビー                                                  | 212        |
|            | 12 | I K E A神戸                                                              | 192        |
|            | 13 | 能福寺（兵庫大仏）                                                       | 147        |
|            | 14 | 兵庫津ミュージアム                                                        | 204        |
| 神戸港     | 15 | 神戸海洋博物館前及び周辺                                                  | 200        |
|            | 16 | 中突堀中央ターミナル周辺                                                  | 208        |
|            | 17 | u m i eモザイク                                                           | 201        |
|            | 18 | ハーバーランド総合インフォメーション前                                       | 213        |
| 六甲・摩耶  | 19 | 六甲天駒台                                                                | 209        |
|            | 20 | 摩耶山樹皇台広場                                                         | 200        |
|            | 21 | 六甲山牧場内                                                              | 215        |
|            | 22 | 六甲ガーデンテラス内                                                       | 211        |
| 有馬       | 23 | 有馬温泉観光総合案内所前                                                 | 214        |
|            | 24 | 金の湯前                                                                  | 216        |
|            | 25 | 六甲有馬ロープウェイ有馬温泉駅                                              | 232        |
| 須磨・舞子  | 26 | 須磨避宮公園                                                            | 202        |
|            | 27 | ドゥ子公園（舞子海上プロムナード）                                          | 230        |
| 西北神     | 28 | 神戸ワイナリー（農業公園）                                                | 235        |
|            | 29 | 神戸フルーツ・フラワーバーク大沢園内                                         | 209        |
|            | 30 | 神戸三田プレミアム・アウトレット                                             | 215        |

合計 | 6,250

real	0m8.541s
user	0m4.469s
sys	0m0.059s

(snip)
pdf = pdfium.PdfDocument(pdf_path)
page = pdf[3]  # 変更
(snip)

# 分析の詳細

## （1）性別構成

- 性別構成としては、全市では「男性」が43.5%、「女性」が56.5%となっている。
- 地区別にみると、『六甲・摩耶』を除いた地区で女性の占める割合が高いが、『北野』では「女性」が30.0ポイント高く、差が大きくなっている。

### 【図表 1 性別構成】

| (%) | 全市 | 北野 | 市街地 | 神戸港 | 六甲・摩耶 | 有馬 | 須磨・舞子 | 西北神 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 男性 | 43.5 | 35.0 | 42.4 | 41.4 | 53.8 | 42.4 | 42.8 | 44.3 |
| 女性 | 56.5 | 65.0 | 57.6 | 58.6 | 46.2 | 57.6 | 57.2 | 55.7 |

![image](image_1.png)

## （2）年齢構成

- 年齢構成としては、全市では「60歳以上」が24.3%で最も高く、次いで「50歳代」（19.8%）、「40歳代」（18.0%）、「20歳代」（16.9%）、「30歳代」（16.2%）の順となっており、40歳代以上が6割を超えている。
- 地区別にみると、『須磨・舞子』では「60歳以上」（35.9%）が他の地区と比較して高くなっている。

### 【図表 2 年齢構成】

| (%) | 全市 | 北野 | 市街地 | 神戸港 | 六甲・摩耶 | 有馬 | 須磨・舞子 | 西北神 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 19歳以下 | 4.7 | 6.3 | 3.6 | 5.6 | 5.0 | 6.2 | 2.3 | 6.2 |
| 20歳代 | 16.9 | 24.5 | 13.7 | 18.1 | 23.0 | 22.4 | 12.0 | 12.6 |
| 30歳代 | 16.2 | 13.3 | 17.9 | 17.5 | 15.3 | 13.6 | 15.3 | 14.7 |
| 40歳代 | 18.0 | 14.3 | 18.6 | 18.4 | 18.0 | 14.5 | 16.9 | 22.0 |
| 50歳代 | 19.8 | 20.5 | 19.8 | 18.9 | 20.0 | 20.7 | 17.6 | 21.2 |
| 60歳以上 | 24.3 | 21.3 | 26.4 | 21.5 | 18.7 | 22.7 | 35.9 | 23.2 |

![image](image_2.png)

terminate called after throwing an instance of 'c10::AcceleratorError'
  what():  CUDA error: device-side assert triggered
Search for `cudaErrorAssert' in https://docs.nvidia.com/cuda/cuda-runtime-api/group__CUDART__TYPES.html for more information.
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.