git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp

cmake -B build
cmake --build build --config Release -j 8

ls -lt build/bin/{llama-server,llama-mtmd-cli}

-rwxr-xr-x@ 1 kun432  staff  4448032  5 14 22:31 build/bin/llama-server
-rwxr-xr-x@ 1 kun432  staff  2175280  5 14 22:31 build/bin/llama-mtmd-cli

./build/bin/llama-mtmd-cli -hf ggml-org/gemma-3-4b-it-GGUF

(snip)
main: loading model: /Users/kun432/Library/Caches/llama.cpp/ggml-org_gemma-3-4b-it-GGUF_gemma-3-4b-it-Q4_K_M.gguf

 Running in chat mode, available commands:
   /image <path>    load an image
   /clear           clear the chat history
   /quit or /exit   exit the program

>

> /image ./kobe.jpg
Image ./kobe.jpg loaded

> この画像について簡潔に説明して。

encoding image or slice...
image/slice encoded in 15061 ms
decoding image batch 1/1, n_tokens_batch = 256
image decoded (batch 1/1) in 474 ms

この画像は、日本の瀬戸内海の街、岡山港の風景です。

特徴的なのは、赤い塔が印象的な「岡山観覧車」と、背景にそびえる高層ビル群です。穏やかな海面と青空が、この景観をより一層美しくしています。また、港には船が停泊しており、活気のある様子が伝わってきます。

./build/bin/llama-mtmd-cli \
    -hf ggml-org/gemma-3-4b-it-GGUF \
    --image kobe.jpg \
    -p "この画像について説明して"

(snip)

この画像は、日本、瀬戸内海の街、岡山（Okayama）の港風景です。

主な特徴は以下の通りです。

*   **岡山ドーム:** 鮮やかな赤色の巨大なドーム状の建造物で、岡山ドームのシンボルです。
*   **岡山駅ビル:** ドームの左側に位置する高層ビルです。
*   **港:** ドームと駅ビルの間に広がる港には、船や遊覧船が停泊しています。
*   **海:** 港の背景には、青い海が広がっています。
*   **空:** 青空の下、太陽が輝いています。

全体として、岡山港の美しい風景と、岡山ドームの存在感が印象的な写真です。


llama_perf_context_print:        load time =     394.28 ms
llama_perf_context_print: prompt eval time =   15805.24 ms /   273 tokens (   57.89 ms per token,    17.27 tokens per second)
llama_perf_context_print:        eval time =    3688.90 ms /   165 runs   (   22.36 ms per token,    44.73 tokens per second)
llama_perf_context_print:       total time =   20184.48 ms /   438 tokens

./build/bin/llama-server -hf ggml-org/gemma-3-4b-it-GGUF

(snip)
main: server is listening on http://127.0.0.1:8080 - starting the main loop
srv  update_slots: all slots are idle

curl http://localhost:8080/v1/chat/completions  \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org_gemma-3-4b-it-GGUF_gemma-3-4b-it-Q4_K_M.gguf",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "この画像について詳しく説明して"
          },
          {
            "type": "image_url",
            "image_url": {
              "url": "https://storage.googleapis.com/zenn-user-upload/82968d23b6c5-20250228.jpg"
            }
          }
        ]
      }
    ],
    "max_tokens": 1024
  }' | jq -r .

{
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "この画像は、日本の瀬戸内海に面した街並みを捉えた写真です。以下に詳細な説明をします。\n\n**主な要素:**\n\n* **観覧車 (マササゴ観覧車):** 画面の中央に大きく見えます。これは、岡山県岡山市の中心部に位置する、特徴的な赤い観覧車です。そのユニークな形状と、街のランドマークとして知られています。\n* **高層ビル群:** 観覧車を中心に、様々なデザインの高層ビルが並んでいます。これらのビルは、現代的な都市の景観を形成しています。\n* **港と水面:** 画面下部には、穏やかな海面が広がっています。海面には、太陽光を反射した水面の波紋や、船の影が映り込み、奥行きと動きを加えています。\n* **船:** 画面右側に、クルーズ船や小型の船が停泊しています。\n* **背景:** 背景には、緑豊かな山々が連なり、自然との調和を感じさせます。\n\n**場所:**\n\nこの画像は、岡山県の岡山市の中心部にある、岡山港の風景を撮影したものと思われます。観覧車は、岡山港のシンボルとして、観光客に人気のスポットです。\n\n**雰囲気:**\n\n全体的に、晴天で穏やかな雰囲気の画像です。高層ビルと観覧車が織りなす景色は、現代的な都市の魅力を伝えます。\n\n**補足:**\n\n* 撮影角度は、港から陸地に向かって撮影されたものと思われます。\n* 写真の構図は、観覧車を強調し、都市の景観全体を捉えるように工夫されています。\n\nこの説明で、この画像についてより深く理解できることを願っています。"
      }
    }
  ],
  "created": 1747234286,
  "model": "ggml-org_gemma-3-4b-it-GGUF_gemma-3-4b-it-Q4_K_M.gguf",
  "system_fingerprint": "b5381-5e7d95e2",
  "object": "chat.completion",
  "usage": {
    "completion_tokens": 384,
    "prompt_tokens": 274,
    "total_tokens": 658
  },
  "id": "chatcmpl-5tOwxMi3h4hGBZ7F6voCfSewFycrExW2",
  "timings": {
    "prompt_n": 1,
    "prompt_ms": 118.884,
    "prompt_per_token_ms": 118.884,
    "prompt_per_second": 8.411560849231183,
    "predicted_n": 384,
    "predicted_ms": 8035.073,
    "predicted_per_token_ms": 20.924669270833334,
    "predicted_per_second": 47.790480559417446
  }
}

from openai import OpenAI

client = OpenAI(
  api_key="dummy",
  base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="ggml-org_gemma-3-4b-it-GGUF_gemma-3-4b-it-Q4_K_M.gguf",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "この画像について詳しく説明して。"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://storage.googleapis.com/zenn-user-upload/82968d23b6c5-20250228.jpg",
                    }
                },
            ],
        }
    ],
    max_tokens=1024,
)

print(response.choices[0].message.content)

この画像は、日本の瀬戸内海の街、岡山（Okayama）のハーバーランドの風景です。以下に詳細を説明します。

**主な要素:**

*   **岡山港:** 海面に映る波の模様が特徴的な岡山港が前景に広がっています。
*   **岡山港ターミナル:** 港の左側に、モダンなデザインのターミナルビルが並んでいます。
*   **岡山港タワー:** 画像の中心にそびえ立つのは、岡山港タワーです。特徴的なデザインで、赤と白のラインが印象的です。
*   **岡山駅ビル:** 岡山港タワーの近くには、岡山駅ビルの白い建物が見えます。
*   **船:** 港に停泊しているクルーズ船や客船が、風景の一部として入っています。
*   **背景の山:** 岡山港の背後には、緑豊かな山々が連なっています。
*   **空:** 青空が広がり、晴れた日中の風景を写しています。

**場所:**

この写真は、岡山港のハーバーランド地区を撮影したものです。ハーバーランドは、岡山港を背景にした、ショッピングやレジャーが楽しめるエリアです。

**全体的な印象:**

全体的に、岡山港の活気と、近未来的な建築物との調和が感じられる写真です。晴れた日中の明るい空と、海面を照らす光が、この風景をより魅力的にしています。

もし、この写真について何か特定の質問があれば、遠慮なく聞いてください。

from openai import OpenAI
import base64

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

image_path = "kobe.jpg"
base64_image = encode_image(image_path)

client = OpenAI(
  api_key="dummy",
  base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="ggml-org_gemma-3-4b-it-GGUF_gemma-3-4b-it-Q4_K_M.gguf",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "この画像について詳しく説明して。"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/jpeg;base64,{base64_image}",
                    }
                },
            ],
        }
    ],
    max_tokens=1024,
)

print(response.choices[0].message.content)

git lfs install
git clone https://huggingface.co/google/gemma-3-4b-it

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

cd gemma-3-4b-it
python ../convert_hf_to_gguf.py --outfile gemma-3-4b-it-f16.gguf --outtype f16 --mmproj .

INFO:hf-to-gguf:Model successfully exported to mmproj-gemma-3-4b-it-f16.gguf

ls -lt  *.gguf

-rw-r--r--@ 1 kun432  staff  851251552  5 15 08:29 mmproj-gemma-3-4b-it-f16.gguf

python ../convert_hf_to_gguf.py --outfile gemma-3-4b-it-f16.gguf --outtype f16 .

ls -lt  *.gguf

-rw-r--r--@ 1 kun432  staff  7767474208  5 15 08:31 gemma-3-4b-it-f16.gguf
-rw-r--r--@ 1 kun432  staff   851251552  5 15 08:29 mmproj-gemma-3-4b-it-f16.gguf

../build/bin/llama-quantize gemma-3-4b-it-f16.gguf gemma-3-4b-it-Q4_K_M.gguf Q4_K_M

../build/bin/llama-mtmd-cli \
    -m gemma-3-4b-it-Q4_K_M.gguf \
    --mmproj mmproj-gemma-3-4b-it-f16.gguf \
    --image ../kobe.jpg \
    -p "この画像について説明して。"

(snip)
main: loading model: gemma-3-4b-it-Q4_K_M.gguf
encoding image or slice...
ggml_metal_graph_compute: command buffer 1 failed with status 5
error: Internal Error (0000000e:Internal Error)
clip_image_batch_encode: ggml_backend_sched_graph_compute failed with error -1
failed to encode image
failed to eval chunk 1
Unable to eval prompt

(snip)
main: loading model: gemma-3-4b-it-Q4_K_M.gguf
encoding image or slice...
image/slice encoded in 411 ms
decoding image batch 1/1, n_tokens_batch = 256
image decoded (batch 1/1) in 442 ms

この画像は、日本の瀬戸内海の街、岡山（Okayama）のハーバーランドの風景です。

主な特徴は以下の通りです。

*   **岡山ドーム:** 画面中央にそびえ立つ、特徴的な赤いドーム型の建造物です。
*   **ハーバーランド:** 岡山ドームの周辺には、商業施設やホテルなど、現代的な建物が並んでいます。
*   **海と船:** 水面に映る太陽の反射が美しく、背景には海と停泊している船が見えます。
*   **晴天:** 青空の下、晴れた日差しが印象的です。

このハーバーランドは、岡山市を活性化させるプロジェクトの一環として開発された複合施設で、観光や商業の中心地となっています。


llama_perf_context_print:        load time =     490.27 ms
llama_perf_context_print: prompt eval time =    1113.12 ms /   274 tokens (    4.06 ms per token,   246.15 tokens per second)
llama_perf_context_print:        eval time =    8169.85 ms /   168 runs   (   48.63 ms per token,    20.56 tokens per second)
llama_perf_context_print:       total time =    9589.03 ms /   442 tokens