GRPOでトレーニングされた画像キャプションモデル「CapRL」を試す

mkdir caprl-work && cd $_
uv venv -p 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto

(snip)
 + vllm==0.11.0
(snip)

vllm serve internlm/CapRL-3B \
    --trust-remote-code \
    --tensor-parallel-size=1 \
    --pipeline-parallel-size=1 \
    --gpu_memory_utilization=0.9 \
    --served-model-name=caprl \
    --port 8000 \
    --host 0.0.0.0

uv init -p 3.12 caprl-client-work && cd  $_
uv add openai

 + openai==2.6.1

import argparse
import base64
from openai import OpenAI

# vLLM APIサーバを使うために、ベースURLとダミーAPIキーをセット
openai_api_key = "EMPTY"
openai_api_base = "http://<vLLMサーバのIPアドレス>:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

def parse_args() -> argparse.Namespace:
    parser = argparse.ArgumentParser(description="Call caprl model with an image and optional prompts.")
    parser.add_argument("image", help="ローカル画像ファイルのパス")
    parser.add_argument(
        "--system-prompt",
        default="You are a helpful assistant.",
        help="システムプロンプト (省略時はデフォルト)",
    )
    parser.add_argument(
        "--user-prompt",
        default="What is the text in the image?",
        help="ユーザプロンプト (省略時はデフォルト)",
    )
    parser.add_argument(
        "--max-tokens",
        type=int,
        default=4096,
        help="生成する最大トークン数",
    )
    return parser.parse_args()


def main() -> None:
    args = parse_args()

    with open(args.image, "rb") as f:
        encoded_image = base64.b64encode(f.read())

    encoded_image_text = encoded_image.decode("utf-8")
    base64_qwen = f"data:image;base64,{encoded_image_text}"

    chat_response = client.chat.completions.create(
        model="caprl",
        messages=[
            {"role": "system", "content": args.system_prompt},
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {"url": base64_qwen},
                    },
                    {"type": "text", "text": args.user_prompt},
                ],
            },
        ],
        temperature=1.0,
        max_tokens=args.max_tokens,
        top_p=1.0,
        extra_body={
            "repetition_penalty": 1.0,
        },
    )
    print("チャットの応答:\n\n", chat_response.choices[0].message.content)


if __name__ == "__main__":
    main()

wget https://huggingface.co/spaces/yuhangzang/caprl/resolve/main/examples/44687.jpeg

uv run sample.py 44687.jpeg

チャットの応答:

 The text in the image is as follows:

---

**Kred 2012 10 Influential Team USA Olympians**

- **Gold**
  - LeBron James
  - BASKETBALL
  - 999
  - 6
  - @KingJames
- **Silver**
  - Michael Phelps
  - SWIMMING
  - 977
  - 6
  - @michaelphelps
- **Bronze**
  - Hope Solo
  - SOCCER
  - 977
  - 5
  - @hopesolo

- Followers:
  - Michael Phelps: 689,591
  - Retweeted times: 63,983
  - Replies received: 75,695
  - LeBron James: 5,627,723
  - Retweeted times: 1,072,729
  - Replies received: 1,250,351
  - Hope Solo: 542,813
  - Retweeted times: 75,014
  - Replies received: 148,310

- @KD Trey5 @ryanlochte @jordyn_wieber @aly_raisman @gabrielledoug @FranklinMissy @sanyarchiross

- Durant 992 BASKETBALL 8
- Lochte 975 SWIMMING 6
- Wieber 937 GYMNASTICS 5
- Raisman 912 GYMNASTICS 6
- Douglas 899 GYMNASTICS 7
- Franklin 891 SWIMMING 5
- Richards-Ross 880 TRACK & FIELD 8

- Which events and athletes are winning celebrity attention?
  - Wendy Williams @WendyWilliams 30 Jul GIRL POWER, GO #TEAMUSA. #LONDONOLYMPICS http://usagym.org/pages/post.htm...
  - Samantha Giancola @MTVsammii 30 Jul I truly love swimming Soccer track and gymnastics the best...
  - Piers Morgan @piersmorgan 31 Jul BOOM! It's official - Greatest medal-winner in Olympic history: the great @MichaelPhelps
  - Bill Simmons @sportsguy33 30 Jul The Sweden-Norway women's handball match is coming up in 30 mins... Lots of room left on the Swedish bandwagon, plenty of seats available!

- How Kred scores are calculated
  - Influence is the ability to inspire action through social media and is scored on a 1,000 point scale. Outreach reflects generosity in engaging with others and helping them spread their message through social media.

Infographic by: @Nezdiaqindex

---

This image is an infographic highlighting the 10 most influential Team USA Olympians in 2012, focusing on their Kred scores and social media engagement.

uv run sample.py \
    --system-prompt "あなたは親切な日本語のアシスタントです。" \
    --user-prompt "画像について詳しく説明して。" \
    44687.jpeg

チャットの応答:

 この画像は、2012年の10人の影響力のあるUSAオリンピック選手を紹介しています。以下に詳細な説明を提供します：

1. **タイトルと背景**:
   - 画像のタイトルは「Kred 2012 10 Influential Team USA Olympians」で、背景はアメリカ国旗の色（青と赤）で、星が散りばめられています。

2. **金メダリスト（Gold）**:
   - レブロン・ジェイムス（LeBron James）が金メダルを獲得し、バスケットボールで999ポイントを獲得しています。彼のKredスコアは6です。

3. **銀メダリスト（Silver）**:
   - マイケル・プルプ（Michael Phelps）が水泳で銀メダルを獲得し、977ポイントで6位です。彼のフォロワー数は689,591人で、リツイート回数は63,983回、リプライ数は75,695回です。

4. **銅メダリスト（Bronze）**:
   - ホープ・ソロ（Hope Solo）がサッカーで銅メダルを獲得し、977ポイントで5位です。彼女のフォロワー数は542,813人で、リツイート回数は75,014回、リプライ数は148,310回です。

5. **他の選手のKredスコア**:
   - 画像下部には、各競技別の選手のKredスコアがリストされています：
     - ダントン（Durant）: バスケットボールで992点
     - ロクテ（Lochte）: 水泳で975点
     - ワイバー（Wieber）: ジャンプスで937点
     - ライスマン（Raisman）: ジャンプスで912点
     - ドーグレス（Douglas）: ジャンプスで899点
     - フランクリン（Franklin）: スイミングで891点
     - リチャードスローズ（Richards-Rose）: フィールドトラックとフィールドで880点

6. ** Celebrity Attention**:
   - 各著名人が何らかのオリンピック関連のツイートを投稿しています：
     - ワンディ・ウィリアムズ (@WendyWilliams): 「ガール・パワーゴー、TEAMUSA. #LONDONOLYMPICS」
     - サマンサ・ジャンコラ (@MTVsamm): 「私は本当に水泳、サッカーストックとジャンプスが好きです。」
     - ピアーズ・モーガン (@piersmorgan): 「BOOM! 官方の最高メダリスト、オリンピック歴史で最も偉大な @MichaelPhelps」
     - ビル・シンプソン (@sportsguy33): 「スウェーデン・ノルウェーの女子ハンドボール戦は30分後に開始します... スウェーデンのバンドwagonに多くの席が空いています！」

7. **Kredスコアの計算方法**:
   - インフルエンスは、ソーシャルメディアを通じて行動をインスピレーションを与える能力であり、1,000ポイントスケールで評価されます。アウトreachは、他人と積極的に交流し、彼らのメッセージをソーシャルメディアで広めることで得られます。

この画像は、2012年USAオリンピック選手の影響力と彼らのソーシャルメディアでの活躍を視覚的に示しています。

uv run sample.py \
    --system-prompt "あなたは親切な日本語のアシスタントです。" \
    --user-prompt "画像について詳しく説明して。" \
    kobe.jpg

 この画像は、港の風景を捉えたものです。以下に詳細な説明を提供します：

1. **場所と背景**:
   - この画像は、日本の神戸港の一部を示しています。特に、赤い塔（ポートタワー）が目立つ場所です。この塔は神戸ポートタワーと呼ばれるもので、赤い金属製の塔で、高さ約100メートルです。

2. **主要な構造物**:
   - 左側には白い建物が見え、それが神戸市港湾庁舎（港湾事務所）です。この建物は現代的なデザインで、多くの窓と曲線的な形状が特徴です。

3. **中心の塔**:
   - 中央に最も目立つのは、赤い金属製の塔（ポートタワー）。この塔は、神戸のシンボルの一つで、観光名所として知られています。

4. **右側**:
   - 右側には、白い船が停泊している様子が見えます。これは likely はクルーズ船や観光船のようです。

5. **建物**:
   - 右側には、メタリックな網状の構造物（メトロポリタン・アート・ミュージアム）が見えます。これは神戸市立美術館で、現代美術を展示する施設です。

6. **水辺**:
   - 場面の中心には静かな水が広がっており、水面は鏡面のように反射しています。これは港の内側やドックの一部を示しています。

7. **周辺の建物**:
   - 左側には高層ビルが見え、その中には高さ約200メートルのビル（おそらく神戸ポートタワーの高層ビル）があります。

8. **山々**:
   - 遠くには山々が見え、青空の下で山がぼんやりと浮かんでいます。これは神戸市の典型的な山並みを示しています。

9. **船**:
   - 右側の白い船は、おそらく観光船やクルーズ船のようです。この船は港の外側に停泊しています。

10. **空**:
    - 空は青く、天気は晴れています。水面の静けさと青空が、この場所の静寂と開放感を強調しています。

この画像は、神戸港の典型的な風景を捉えており、港の歴史的建造物と現代的な建築物が共存する様子を示しています。

 この画像は、日本語の本の表紙や書影を示しています。以下に詳細な説明を提供します：

1. **タイトルと作者**:
   - 本のタイトルは「ドキュメント・コミュニケーションの全体観」で、上巻「原則と手順」を中川邦夫著と記載されています。

2. **内容概要**:
   - 本は提案書、報告書、会議資料の「質」と「制作スピード」を上げるメカニズムについて解説していると推測されます。

3. **図表内容**:
   - 左側には「ロジカル・シンキング」、「文章を書く技術」、「図表を描く技術」、「問題解決力」の4つの技術がリストされています。
   - 中心には「技法 Art」が置かれており、その周りに「原則 Principle」、「手順 Process」、「試合運び Tactics」が図示されています。これはコミュニケーションの三要素（原則、技法、手順）と試合の戦略（試合運び）を示していると考えられます。

4. **緑色の部分**:
   - この部分には「コミュニケーションはすべて「解・動・早」で進めよ」と書かれており、解明、行動、速さの3つの要素を強調しています。
   - 下部には「解っていただく・動いていただく・できるだけ早く」というメッセージが添えられています。

5. **キーワードとメッセージ**:
   - 本の中心テーマはコミュニケーションの効率化と高速化に焦点を当てているようです。
   - 「解・動・早」の原则は、情報を理解し、迅速に行動し、速やかに結果を出すことを促しています。

6. **作者情報:
   - 中川邦夫氏は、この本の上巻「原則と手順」を執筆していると推測されます。

7. **目的:
   - 本は提案書や報告書の作成において、質の高い文書を早く作成するためのメカニズムを説明していると理解できます。

この本は、コミュニケーションの技術と原則を理解し、効率的に文書を作成するための手順を提供している 것으로、ビジネスや文書作成に携わる人々に役立つ内容であると推測されます。

 この画像は、模範商事株式会社から範例工業株式会社に対して発行された御請求書の表紙と内容を示しています。以下に詳細な説明を提供します：

1. **請求書番号**: INV-2024-0820

2. **発行者**: 模範商事株式会社
   - 住所: 〒100-0001 東京都千代田区見本町1-1
   - 電話: 03-1234-5678
   - FAX: 03-1234-5679

3. **内容**: 下記の通りご請求申し上げます。

4. **項目と詳細**:
   - **特選和紙 (A4サイズ)**: 数量1000枚, 単価¥50, 金額¥50,000
   - **高級墨 (松煙)**: 数量20個, 単価¥2,000, 金額¥40,000
   - **筆セット (各種)**: 数量50セット, 単価¥1,000, 金額¥50,000

5. **小計**: ¥140,000
6. **消費税 (10%): ¥14,000**
7. **合計金額**: ¥154,000

8. **備考**:
   1. お支払いは請求書発行日より30日以内にお願いいたします。
   2. 振込手数料は貴社負担でお願いいたします。
   3. 本書に関するお問い合わせは下記担当者までご連絡ください。（担当: 営業部 見本太郎）

9. **金額の詳細**:
   - 特選和紙のコストは¥50,000
   - 高級墨のコストは¥40,000
   - 筆セットのコストは¥50,000
   - 消費税は10%で¥14,000
   - 合計金額は¥154,000

この請求書は、範例工業株式会社が模範商事株式会社から購入した文房具や書類関連の商品の価格と金額を示しており、30日以内に支払いを行うことが要求されています。また、振込手数料は受発注会社（模範商事）が負担することも記載されています。

uv run sample.py \
    --system-prompt "あなたは親切な日本語のアシスタントです。" \
    --user-prompt "画像について詳しく説明して。" \
    basanchi.png

 この図は、軽種馬（サラ系）のライフサイクルを示しています。以下に詳細な説明を提供します：

1. **図の構造と主要要素：**
   - 図は2つの部分に分かれており、左側が「種馬場」、右側が「競馬場」です。

2. **種馬場：**
   - 供用種雄馬頭数は259頭（R3年）で、これは種付けのための馬です。

3. **生産牧場：**
   - 繁殖雌馬の飼養戸数は779戸（R3年），種付雌馬頭数は10,340頭（R3年）です。
   - 生産頭数は7,792頭（R4年）で、これらが競馬場に供給されます。

4. **育成牧場：**
   - 育成・調教を行い、セリ（競売）や相対（1歳、2歳）の馬を育成します。

5. **競馬場：**
   - 在籍馬は21,907頭（R6年末），競走馬登録は6,793頭（R4年産馬）です。
     - 中央競馬：9,318頭，地方競馬：12,589頭
     - 中央競馬：4,739頭，地方競馬：2,054頭

6. **乗用馬：**
   - 乗用馬は3,347頭（R6年），中央競馬：858頭，地方競馬：2,489頭

7. **研究馬：**
   - 19頭，へい死1,188頭，その他1,109頭

8. **登録抹消消頭数：**
   - 10,838頭（R6年），中央競馬：5,369頭，地方競馬：5,469頭

9. **再登録馬：**
   - 3,971頭，其中中央355頭，地方3,616頭

10. **研究馬の詳細：**
    - 19頭（特定の目的で使用された馬）
    - へい死した馬1,188頭
    - その他1,109頭（詳細不明）

11. **登録抹消消頭数の中央競馬と地方競馬の分布：**
    - 中央競馬の抹消消頭数が5,369頭、地方競馬が5,469頭で、両者の差はわずか70頭です。

12. **資料：**
    - 挙馬場及び生産牧場における戸数・頭数、競走馬登録頭数は公財）ジャン・スタッドブック・インターナショナル、（公社）日本軽種馬協会「軽種馬統計」、その他は日本中央競馬会、地方競馬全国協会謄べ

この図は軽種馬の生産、育成、競走、乗用、研究、そして廃止までのライフサイクルを示しており、各ステップでの馬の数や分布を詳細にまとめています。