!pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124
!pip install transformers==4.46.2 numpy==1.25.0 pillow==10.3.0

pip install flash-attn==2.7.0.post2 --no-build-isolation

import torch
from PIL import Image
from transformers import AutoModelForCausalLM

# モデルのロード
model = AutoModelForCausalLM.from_pretrained(
    "AIDC-AI/Ovis2-8B",
    torch_dtype=torch.bfloat16,
    multimodal_max_length=32768,
    trust_remote_code=True
).cuda()

# テキストとビジュアルのトークナイザーをロード
text_tokenizer = model.get_text_tokenizer()
visual_tokenizer = model.get_visual_tokenizer()

Wed Feb 26 11:38:50 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15              Driver Version: 550.54.15      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      Off |   00000000:00:03.0 Off |                    0 |
| N/A   44C    P0             28W /   72W |   17481MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

# 画像
image_path = 'sample.png'
images = [Image.open(image_path)]
max_partition = 9
text = '画像の内容を説明して。'
query = f'<image>\n{text}'

# 会話のフォーマット
prompt, input_ids, pixel_values = model.preprocess_inputs(query, images, max_partition=max_partition)
attention_mask = torch.ne(input_ids, text_tokenizer.pad_token_id)
input_ids = input_ids.unsqueeze(0).to(device=model.device)
attention_mask = attention_mask.unsqueeze(0).to(device=model.device)
if pixel_values is not None:
    pixel_values = pixel_values.to(dtype=visual_tokenizer.dtype, device=visual_tokenizer.device)
pixel_values = [pixel_values]

# 出力を生成
with torch.inference_mode():
    gen_kwargs = dict(
        max_new_tokens=1024,
        do_sample=False,
        top_p=None,
        top_k=None,
        temperature=None,
        repetition_penalty=None,
        eos_token_id=model.generation_config.eos_token_id,
        pad_token_id=text_tokenizer.pad_token_id,
        use_cache=True
    )
    output_ids = model.generate(input_ids, pixel_values=pixel_values, attention_mask=attention_mask, **gen_kwargs)[0]
    output = text_tokenizer.decode(output_ids, skip_special_tokens=True)
    print(f'出力:\n{output}')

出力:
この画像は、書籍の表紙を示しています。書籍のタイトルは「ドキュメント・コミュニケーションの全体観」で、著者は中川邦夫です。上巻の内容は「原則と手順」を扱っています。

表紙の上部には、提案書、報告書、会議資料の「質」と「制作スピード」を上げるメカニズムについて説明しています。中央には、四つの要素が円形に配置された図が描かれています。これらの要素は「原則（Principle）」、「技法（Art）」、「手順（Process）」、「試合運び（Tactics）」です。左側には「コジカルシンキング」、「文章を書く技術」、「図表を描く技術」、「問題解決力」という要素が並んでいます。

表紙の下部には、「コミュニケーションはすべて『解・動・早』で進めよ」というキャッチコピーが書かれています。さらに、「解っていただく・動いていただく・できるだけ早く」というフレーズが添えられています。

全体的に、書籍はドキュメント作成とコミュニケーションの効率化に関する内容を扱っていることがわかります。

出力:
この画像は、請求書の写真です。請求書の上部には「御請求書」と大きく書かれ、請求書番号「INV-2024-0820」が記載されています。右上には「模範商事株式会社」と社名と住所、電話番号、FAX番号が記載されています。請求書の本文には、項目、数量、単価、金額の表が記載されており、以下の内容が記載されています。

- 特選和紙（A4サイズ）：数量1000、単価¥50、金額¥50,000
- 高級墨（松煙）：数量20、単価¥2,000、金額¥40,000
- 筆セット（各種）：数量50、単価¥1,000、金額¥50,000

小計は¥140,000、消費税（10%）は¥14,000で、合計金額は¥154,000となっています。備考欄には、支払い期限、振込手数料の負担、問い合わせ先の担当者名が記載されています。

この線グラフは、パラメータ数（B）とOpenCompass平均スコアの関係を示しています。
x軸はパラメータ数（B）で、y軸はOpenCompass平均スコアです。
グラフには、Ovis2、InternVL2.5-MPO、Qwen2.5-VL、Llava-OneVision、Molmo、Llama-3.2-Vision-Instruct、VILA1.5、Cambran、Yi-VLの9つのモデルが含まれています。
各モデルは、異なるパラメータ数で評価され、それぞれのパラメータ数に対応する平均スコアが示されています。
グラフから、パラメータ数が増加すると、OpenCompass平均スコアも増加することがわかります。
ただし、パラメータ数が増加するにつれて、スコアの増加率は低下します。
Ovis2は、他のモデルと比較して、パラメータ数が増加するにつれて最も高いスコアを維持しています。

text = 'Ovis2の各パラメータサイズごとのスコアをまとめて。'

出力:
Ovis2の各パラメータサイズごとのスコアは以下の通りです。

- 1B: 58.2
- 2B: 62.1
- 4B: 66.5
- 8B: 69.7
- 16B: 73.4
- 26B: 75.6
- 34B: 76.3

Wed Feb 26 12:13:44 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15              Driver Version: 550.54.15      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      Off |   00000000:00:03.0 Off |                    0 |
| N/A   43C    P0             24W /   72W |    2445MiB /  23034MiB |     37%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+