!pip install olmocr

!pip freeze | grep -i olmocr

olmocr==0.1.58

!sudo apt-get update
!sudo apt-get install poppler-utils ttf-mscorefonts-installer msttcorefonts fonts-crosextra-caladea fonts-crosextra-carlito gsfonts lcdf-typetools

import torch
import base64
import urllib.request
import json

from io import BytesIO
from PIL import Image
from transformers import AutoProcessor, Qwen2VLForConditionalGeneration

from olmocr.data.renderpdf import render_pdf_to_base64png
from olmocr.prompts import build_finetuning_prompt
from olmocr.prompts.anchor import get_anchor_text

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "allenai/olmOCR-7B-0225-preview",
    torch_dtype=torch.bfloat16
).eval()
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

urllib.request.urlretrieve(
    "https://www.city.kobe.lg.jp/documents/15123/r5_doukou.pdf",
    "./paper.pdf"
)

# 1ページ目を画像に変換
image_base64 = render_pdf_to_base64png(
    "./paper.pdf",
    1,
    target_longest_image_dim=1024
)

# ドキュメントのメタデータを使用してプロンプトを構築
anchor_text = get_anchor_text(
    "./paper.pdf",
    1,
    pdf_engine="pdfreport",
    target_length=4000
)
prompt = build_finetuning_prompt(anchor_text)

# フルプロンプトを構築
messages = [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": prompt
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/png;base64,{image_base64}"}
                        },
                ],
            }
        ]

# チャットテンプレートとプロセッサを適用
text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
main_image = Image.open(BytesIO(base64.b64decode(image_base64)))

inputs = processor(
    text=[text],
    images=[main_image],
    padding=True,
    return_tensors="pt",
)
inputs = {key: value.to(device) for (key, value) in inputs.items()}


# 出力を生成
output = model.generate(
            **inputs,
            temperature=0.8,
            max_new_tokens=4096,
            num_return_sequences=1,
            do_sample=True,
        )

# 出力をデコード
prompt_length = inputs["input_ids"].shape[1]
new_tokens = output[:, prompt_length:]
text_output = processor.tokenizer.batch_decode(
    new_tokens, skip_special_tokens=True
)

print(json.dumps(json.loads(text_output[0]), indent=2, ensure_ascii=False))

{
  "primary_language": "ja",
  "is_rotation_valid": true,
  "rotation_correction": 0,
  "is_table": true,
  "is_diagram": false,
  "natural_text": "令和5年度 神戸市観光動向調査結果について\n\n本調査は、来神観光客の特質と神戸市内の観光動向を把握し、今後の観光行政の参考とすることを目的に実施。\n\n調査員が対面にてアンケート項目を聞き取りする形で実施。\n\n調査日\n\n① 令和5年 5月 13日（土）・20日（土）※\n② 令和5年 9月 9日（土）\n③ 令和5年 11月 25日（土）／12月 2日（土）※\n④ 令和6年 2月 10日（土）・17日（土）・24日／3月 30日（土）※\n\n※雨天等により、一部の調査地点については延期して実施。\n\n| 地区 | NO | 調査地点 | サンプル数 |\n|------|----|----------|------------|\n| 北野 | 1  | 北野町広場 | 246 |\n|      | 2  | 北野工房のまち | 154 |\n|      | 3  | 南京町広場 | 218 |\n|      | 4  | 総合インフォメーションセンター | 198 |\n|      | 5  | 旧居留地 | 201 |\n|      | 6  | 神戸布引ロープウェイハーブ園山麓駅 | 203 |\n|      | 7  | 白鶴酒造資料館内 | 205 |\n|      | 8  | 王子動物園内 | 235 |\n|      | 9  | 県立美術館前 | 217 |\n|      | 10 | さんちか夢広場 | 208 |\n|      | 11 | 神戸空港屋上階展望ロビー | 212 |\n|      | 12 | IKEA神戸 | 192 |\n|      | 13 | 能福寺（兵庫大仏） | 147 |\n|      | 14 | 兵庫津ミュージアム | 204 |\n|      | 15 | 神戸海洋博物館前及び周辺 | 200 |\n|      | 16 | 中突堤中央ターミナル周辺 | 208 |\n|      | 17 | umie モザイク | 201 |\n|      | 18 | ハーバーランド総合インフォメーション前 | 213 |\n| 市街地 | 19 | 六甲天覧台 | 209 |\n|      | 20 | 摩耶山掬星台広場 | 200 |\n|      | 21 | 六甲山牧場内 | 215 |\n|      | 22 | 六甲ガーデンテラス内 | 211 |\n|      | 23 | 有馬温泉観光総合案内所前 | 214 |\n|      | 24 | 金の湯前 | 216 |\n|      | 25 | 六甲有馬ロープウェイ有馬温泉駅 | 232 |\n| 有馬 | 26 | 須磨離宮公園 | 202 |\n|      | 27 | 舞子公園（舞子海上プロムナード） | 230 |\n| 須磨・舞子 | 28 | 神戸ワイナリー（農業公園） | 235 |\n|      | 29 | 神戸フルーツ・フラワーパーク大沢園内 | 209 |\n|      | 30 | 神戸三田プレミアム・アウトレット | 215 |\n| 西北神 | 合計 | 6,250 |"
}

print(json.loads(text_output[0])["natural_text"])

令和5年度 神戸市観光動向調査結果について

本調査は、来神観光客の特質と神戸市内の観光動向を把握し、今後の観光行政の参考とすることを目的に実施。

調査員が対面にてアンケート項目を聞き取りする形で実施。

調査日

① 令和5年 5月 13日（土）・20日（土）※
② 令和5年 9月 9日（土）
③ 令和5年 11月 25日（土）／12月 2日（土）※
④ 令和6年 2月 10日（土）・17日（土）・24日／3月 30日（土）※

※雨天等により、一部の調査地点については延期して実施。

| 地区 | NO | 調査地点 | サンプル数 |
|------|----|----------|------------|
| 北野 | 1  | 北野町広場 | 246 |
|      | 2  | 北野工房のまち | 154 |
|      | 3  | 南京町広場 | 218 |
|      | 4  | 総合インフォメーションセンター | 198 |
|      | 5  | 旧居留地 | 201 |
|      | 6  | 神戸布引ロープウェイハーブ園山麓駅 | 203 |
|      | 7  | 白鶴酒造資料館内 | 205 |
|      | 8  | 王子動物園内 | 235 |
|      | 9  | 県立美術館前 | 217 |
|      | 10 | さんちか夢広場 | 208 |
|      | 11 | 神戸空港屋上階展望ロビー | 212 |
|      | 12 | IKEA神戸 | 192 |
|      | 13 | 能福寺（兵庫大仏） | 147 |
|      | 14 | 兵庫津ミュージアム | 204 |
|      | 15 | 神戸海洋博物館前及び周辺 | 200 |
|      | 16 | 中突堤中央ターミナル周辺 | 208 |
|      | 17 | umie モザイク | 201 |
|      | 18 | ハーバーランド総合インフォメーション前 | 213 |
| 市街地 | 19 | 六甲天覧台 | 209 |
|      | 20 | 摩耶山掬星台広場 | 200 |
|      | 21 | 六甲山牧場内 | 215 |
|      | 22 | 六甲ガーデンテラス内 | 211 |
|      | 23 | 有馬温泉観光総合案内所前 | 214 |
|      | 24 | 金の湯前 | 216 |
|      | 25 | 六甲有馬ロープウェイ有馬温泉駅 | 232 |
| 有馬 | 26 | 須磨離宮公園 | 202 |
|      | 27 | 舞子公園（舞子海上プロムナード） | 230 |
| 須磨・舞子 | 28 | 神戸ワイナリー（農業公園） | 235 |
|      | 29 | 神戸フルーツ・フラワーパーク大沢園内 | 209 |
|      | 30 | 神戸三田プレミアム・アウトレット | 215 |
| 西北神 | 合計 | 6,250 |

image_base64 = render_pdf_to_base64png(
    "./paper.pdf",
    4,
    target_longest_image_dim=1024
)

anchor_text = get_anchor_text(
    "./paper.pdf",
    4,
    pdf_engine="pdfreport",
    target_length=4000
)
prompt = build_finetuning_prompt(anchor_text)

messages = [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": prompt
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/png;base64,{image_base64}"}
                        },
                ],
            }
        ]

text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
main_image = Image.open(BytesIO(base64.b64decode(image_base64)))

inputs = processor(
    text=[text],
    images=[main_image],
    padding=True,
    return_tensors="pt",
)
inputs = {key: value.to(device) for (key, value) in inputs.items()}


output = model.generate(
            **inputs,
            temperature=0.8,
            max_new_tokens=4096,
            num_return_sequences=1,
            do_sample=True,
        )

prompt_length = inputs["input_ids"].shape[1]
new_tokens = output[:, prompt_length:]
text_output = processor.tokenizer.batch_decode(
    new_tokens, skip_special_tokens=True
)

print(json.loads(text_output[0])["natural_text"])

（1）性別構成

●性別構成としては、全市では「男性」が43.5％、「女性」が56.5％となっている。

●地区別にみると、『六甲・摩耶』を除いた地区で女性の占める割合が高いが、『北野』では「女性」が30.0ポイント高く、差が大きくなっている。

【図表1 性別構成】

| (%) | 全市 | 北野 | 市街地 | 神戸港 | 六甲・摩耶 | 有馬 | 須磨・舞子 | 西北神 |
|-----|------|------|--------|--------|-----------|------|-----------|--------|
| 男性 | 43.5 | 35.0 | 42.4   | 41.4   | 53.8      | 42.4 | 42.8      | 44.3   |
| 女性 | 56.5 | 65.0 | 57.6   | 58.6   | 46.2      | 57.6 | 57.2      | 55.7   |

（2）年齢構成

●年齢構成としては、全市では「60歳以上」が24.3％で最も高く、次いで「50歳代」（19.8％）、「40歳代」（18.0％）、「30歳代」（16.9％）、「20歳代」（16.2％）の順となっており、40歳代以上が6割を超える。

●地区別にみると、『須磨・舞子』では「60歳以上」（35.9％）が他の地区と比較して高くなっている。

【図表2 年齢構成】

anchor_text = get_anchor_text(
    "./paper.pdf",
    4,
    pdf_engine="pypdf",
    target_length=10000
)
prompt = build_finetuning_prompt(anchor_text)

Below is the image of one page of a document, as well as some raw textual content that was previously extracted for it. Just return the plain text representation of this document as if you were reading it naturally.
Do not hallucinate.
RAW_TEXT_START
Page dimensions: 595.0x842.0
[Image 68x36 to 528x276]
[Image 21x422 to 532x616]
[295x26]3
[68x728](1)性別構成
[79x703]●性別構成としては、全市では「男性」が43.5%、「女性」が56.5%となっている。
[79x678]●地区別にみると、『六甲・摩耶』を除いた地区で女性の占める割合が高いが、『北野』では「女
[90x662]性」が30.0ポイント高く、差が大きくなっている。
[247x629]【図表1 性別構成】
[68x403](2)年齢構成
[79x379]●年齢構成としては、全市では「60歳以上」が24.3%で最も高く、次いで「50歳代」(19.8%)、
[90x362]「40歳代」(18.0%)、「20歳代」(16.9%)、「30歳代」(16.2%)の順となっており、40歳代以
[90x345]上が6割を超える。
[79x320]●地区別にみると、『須磨・舞子』では「60歳以上」(35.9%)が他の地区と比較して高くなっ
[90x304]ている。
[247x287]【図表2 年齢構成】
[85x756]分析の詳細

RAW_TEXT_END