Cloud Ace Tech Blog
🎼

画像を入力できる判断モデル「Clef」をCloud Run GPUで動かして画像認識精度を検証してみた

はじめに

こんにちは。クラウドエース株式会社 CTO室の関根です。

Cloudflareが公開した判断モデルClefをGoogle CloudのCloud Run GPU上で動かし、ブラウザから画像判定を試せるデモアプリ「Clef画像判定ラボ」を作りました。31ケース・35問の能力チェックを実施し、回答・確信度・応答時間を確認しました。

本記事では、Clefが型付きの判断を返す仕組み、アプリの構成、能力チェックの結果を説明します。Cloud Run GPUを選んだ理由と、起動時のモデル転送で分かったことも紹介します。

対象読者は、型付きの判断や確率を業務アプリに組み込みたいエンジニアや、Cloud Run GPUで独自モデルを動かしてみたい方です。

Clefとは

Clefは、CloudflareがApache-2.0ライセンスで公開した判断モデル(decision model)です。状態(state)と型付きの質問(questions)を受け取り、あらかじめ決めた形式で判断や確率を返します。

モデルは2種類あります。ClefはQwen3.8-27Bを基盤とする27Bモデル、Clef-flashはQwen3.5-9Bを基盤とする9Bモデルです。どちらもテキスト・JSON・画像・動画を入力できます。

APIは、質問と回答の形式を定めたSystemOne APIと互換です。利用方法は2つあります。1つはCloudflareのWorkers AI経由で呼び出す方法、もう1つは学習済みの重みを保存したモデルファイルをダウンロードして自分たちの環境で動かす方法です。起動の速さを優先するならWorkers AIが手軽です。モデルのバージョンや処理する地域を自分たちで管理するなら、Cloud Runなどに配置する方法が向きます。

型付きの判断を返す仕組み

Clefは、画像や文章を理解する基盤モデルに、質問と選択肢を採点する専用の仕組みを組み合わせています。公式モデルカードによると、入力を1回処理し、全質問の各選択肢に対する確率を直接求めます。

生成モデルにも、指定したJSON Schemaに沿って回答するStructured Outputsのような機能があります。Clefでは回答の文章を生成する過程を経ずに判断結果を返すため、アプリ側で自由文から答えを取り出す処理を省けます。

ただし、型が整っていることと、判断が正しいことは別です。返ってくる確率が実際の正解率と合っているとは限りません。

Jevとの比較

Clefの比較対象となるのが、TypeSafe AIのJevです。JevはSystemOne APIを最初に採用した判断モデルで、提供元のAPIを呼び出して使います。2026年10月時点で公開されている情報を比較すると次のようになります。

Jev Clef / Clef-flash
提供元 TypeSafe AI Cloudflare
提供形態 提供元のAPIのみ(重みは非公開) Workers AI/重みを公開(Apache-2.0)
入力 テキスト・構造化データ テキスト・JSON・画像・動画
モデルサイズ 非公開 27B / 9B
API SystemOne API SystemOne API互換

Jevのサイズは非公開で、公表されている比較情報ではテキストと構造化データが入力対象です。Clefは画像と動画を直接扱える点が大きな違いです。

JEV-as-a-Judgeは、LLMの回答を評価する判断役としてJevを使う研究です。確信度が高い判定は採用し、低い判定だけをGPT-6に回す方式を検証しています。論文v4では、事前に閾値を固定して評価した1,610組において、GPT-6単体より正答率が約0.9ポイント高く、料金はGPT-6単体の約41%だったと報告されています。

この結果を参考に、今回のアプリでも確信度によって処理を振り分ける案を考えました。ただし、この研究は画像検査を扱ったものではありません。

3種類の質問形式

Clefには3種類の質問形式があります。

形式 返るもの 例
noul 質問に「はい」と答える推定確率 「この製品は良品か」→「はい」の確率0.92
choice 名前付き選択肢と選択肢ごとの確率 「違いは何か」→ none / missing / color / extra
score 順序付きの段階に対するスコアの期待値と、各段階の確率 傷の程度を0〜4の5段階で評価。スコアは2.3などの小数になる場合もある

scoreは、公式実装では0から始まる段階番号を各段階の確率で重み付けした値です。表の2.3は説明用の例であり、今回の実測値ではありません。

1回のリクエストに複数の質問を含めると、1回のモデル処理でまとめて回答が返ります。画像もリクエストに含めて送ります。

作成した「Clef画像判定ラボ」

アプリでできること

アプリには「判定する」と「能力チェック」の2つの画面があります。

「判定する」タブでは、カメラ・画像ファイル・ライブカメラから画像を入力し、テンプレート(外観検査・安全・ピッキング比較・ランプとメーター・カスタム)を選んで判定します。結果には、回答、確信度、「自動判定/要確認/人に確認」の区分が表示されます。

「能力チェック」タブでは、31ケースに含まれる35問を一括で実行し、カテゴリ別の正解数、確信度別の件数、所要時間を一覧で確認できます。結果はJSONまたはCSVでダウンロード可能です。どちらのタブでも、Clef-flash、Clef(27B)、両モデルの比較から使用するモデルを選べます。

「判定する」画面

「判定する」タブに、良品見本と部品が1つ欠けた検査対象の判定結果、確信度、選択肢ごとの確率を表示した例

上の画面は、良品見本と部品が1つ欠けた検査対象を比較した例です。能力チェック用のテスト画像と、検証時に保存したClef-flashの回答・確率・モデル処理時間を使って、記事用に結果を再表示しています。画面では、回答に加えて、選択肢ごとの確率とモデル処理時間も確認できます。

「能力チェック」画面

「能力チェック」タブに、カテゴリ別の正解率、確信度別の件数、各問題の回答と処理時間を表示した例

能力チェック画面の上部には、カテゴリ別の正解率と確信度別の件数が表示されます。下部の表では、各問題の画像、正解、Clefの回答、確信度、モデル処理時間を確認できます。上の画面は、能力チェック用のテスト画像と、検証時に保存したClef-flashの回答・確信度・モデル処理時間などを再表示したものです。画面中の「GPU推論」と「推論ms」は、どちらも本記事でいうモデル処理時間です。

アプリの構成

Clef画像判定ラボの構成図。ブラウザからWebサービスを経由して、Clef-flashまたはClefの推論サービスを呼び出す

構成は、ブラウザで動く画面、リクエストを受け取るWebサービス、2つの推論サービスの3層です。通常はClef-flashを使い、必要に応じてClef(27B)へ切り替えます。

Webサービスと推論サービスはCloud Runに配置しました。通常のアプリ利用では、Webサービスが自身のサービスアカウントのIDトークンを付けて推論サービスを呼び出します。重みファイルはCloud Storageに保存し、推論サービスの起動時に読み込む構成です。使用するモデルのバージョンは固定しており、後述の表にリビジョンを記載しています。

推論サービスのingressはallで、外部からHTTPSエンドポイントに到達できる設定です。匿名での呼び出しは許可せず、IAMで呼び出し権限を確認します。サービス単位のIAM設定では、Webサービスのサービスアカウントにroles/run.invokerを付与しています。ingressとIAMは別の設定であり、内部ネットワークだけに接続を限定した構成ではありません。

リクエストとレスポンス

公式API仕様では、model・state・questionsが必須項目です。imagesは画像を使う場合に追加する項目で、画像なしの判定では不要です。

以下は、/v1/systemoneで2枚の画像を比較する例です。この例では、model(使用モデル)、state(判定対象の状況)、questions(質問の定義)に加え、比較する2枚の画像をimagesで渡します。

{
  "model": "clef-flash",
  "state": "1枚目は良品見本、2枚目は検査対象。検査対象を見本と比較して判定する",
  "images": [
    {"content_type": "image/png", "base64": "..."},
    {"content_type": "image/png", "base64": "..."}
  ],
  "questions": {
    "same": {"type": "noul", "instructions": "2枚目は1枚目と同じ状態か"},
    "diff": {
      "type": "choice",
      "instructions": "2枚目は1枚目と比べて何が違うか",
      "criteria": {
        "none": "違いはない",
        "missing": "部品が1つ欠けている",
        "color": "色が違う部品がある",
        "extra": "余分な物がある"
      }
    }
  }
}

choiceは、公式実装では指定した選択肢の中で推定確率が最も高い候補を1つ返します。この例では「違いなし」「部品欠け」「色の違い」「余分な物」の4つの状態を区別します。noneは「違いなし」であり、「どの候補にも該当しない」という意味ではありません。

複数の異常が同時にある画像では、1つの選択肢だけで十分に表せない場合があります。複数の異常を同時に検出したい場合は、「部品が欠けているか」「色が違うか」のように質問を分けられます。選択肢に収まらない状態をどう扱うかも、用途に応じた設計が必要です。

部品欠けのケースに対して、Clef-flashが実際に返した応答を示します。

{
  "answers": {
    "same": {"type": "noul", "noul": 0.2261},
    "diff": {
      "type": "choice",
      "choice": "missing",
      "confidence": 0.8182,
      "probabilities": {
        "none": 0.1776,
        "missing": 0.8182,
        "color": 0.0018,
        "extra": 0.0024
      }
    }
  }
}

画面では、sameのnoulが0.5未満なので「いいえ」と表示します。確信度は1 - 0.2261 = 0.7739です。

diffのchoiceはmissingなので、「部品が1つ欠けている」と表示します。probabilitiesは選択肢ごとの確率バー、confidenceは確信度の数値と3区分のバッジに使っています。

この例では、「同じ状態か」という質問のnoulは0.2261、「違いなし」のprobabilities.noneは0.1776です。別々の質問に対する推定確率なので、意味が近くても同じ値になるとは限りません。同じ意味の判定を複数の質問で表す場合は、最終判断に使う回答と、回答が食い違った場合の扱いを決めておくとよいです。

Cloud Run GPUで動かす際に気をつけたこと

推論コンテナの実装・依存関係で指定した主な設定は次のとおりです。GPUのVRAM容量はCloud RunのGPU仕様に基づきます。

項目 Clef-flash Clef
モデルのリビジョン 17f0b0ad64efb65d273590632833508766b2aae6 2f3de3dd85f379784083b0814d997ab627200f0c
GPU / VRAM NVIDIA L4 / 24GB NVIDIA RTX PRO 6000 Blackwell / 96GB
PyTorch 2.11.0+cu130(CUDA 13.0ビルド) 2.11.0+cu130(CUDA 13.0ビルド)
Transformers 5.10.2 5.10.2
精度設定(モデル読み込み時) BF16(torch.bfloat16) BF16(torch.bfloat16)
量子化 なし なし

基盤モデルと専用の判断用ヘッドは、joint_schema_model.pyのload_release_modelでまとめて読み込みました。公式の使用例と同じ方法です。引数にはdevice="cuda"、dtype=torch.bfloat16、attn_implementation="sdpa"を指定し、判定には同じファイルのsystemoneを使っています。

今回はBF16・量子化なしで単一GPUに読み込む構成としました。Clef側で必要なGPUメモリを確保するため、RTX PRO 6000 Blackwellを選びました。

重みファイルの容量と、実行時に必要なGPUメモリの容量は同じではありません。必要な容量は画像サイズなどの入力条件や読み込み方法によっても変わるため、ファイルサイズだけではGPUに収まるか判断できません。

使っていない間の費用を抑える設定にしたため、停止状態からの初回起動には時間がかかります。転送する重みファイルはClef-flashが約19GB、Clefが約55GBです。今回の環境では、準備が完了するまでClef-flashは約6〜7分、Clefは約20分かかりました。そのため、画面に事前起動ボタンを設け、デモの前にモデルを起動できるようにしました。

利用者が判定のために送信した画像は、Webサービスと推論サービスが処理中にメモリ上で扱います。画像ファイルとして保存せず、入力画像やリクエスト本文をアプリのログに出す処理も入れていません。

一方、能力チェック用のテスト画像はアプリのファイルとして保持し、回答・確率・処理時間などの検証結果は別に記録しています。記事では、このテスト画像と保存した検証結果を再利用しています。

画像の枚数と容量にも上限を設けています。実際の業務で使う場合は、保存先や処理する地域など、利用組織の要件を別途確認する必要があります。

能力チェック

テスト内容と採点方法

画像テストは31ケース・35問です。1ケースは、画像1枚または比較用の2枚と質問をまとめた1回のリクエストを指します。見本比較の4ケースには各2問、残り27ケースには各1問を設定したため、質問は合計35問です。

カテゴリは、色・位置・2枚の見本比較・文字・メーターのゾーン・個数カウント・傷・保護具・バナナの傷みの9種類です。

合成画像は1024×768pxです。実写真の寸法は写真ごとに異なり、長辺はいずれも1280px以下です。テストの大半は単純な合成画像で、実写真も一般的な例に留まります。

能力チェックで使った画像の例。色の判定、ラベル位置、文字、メーター、個数カウント、傷の合成画像と、見本と検査対象の2枚比較

採点では、choiceは最も確率が高い選択肢が、あらかじめ決めた正解と一致するかを確認します。noulは「はい」の確率が0.5以上なら「はい」として採点します。確信度は、choiceでは応答のconfidence、noulでは「はい」と「いいえ」のうち確率が高い方です。

このデモでは、確信度の帯を示す表示・集計用の3区分として「自動判定」「要確認」「人に確認」を使っています。0.90以上は「自動判定」、0.60以上0.90未満は「要確認」、0.60未満は「人に確認」です。ラベルによって判定後の処理が変わるわけではなく、人が行う作業の違いも定義していません。この閾値はデモ用で、本番の振り分け規則ではありません。

測定には、日本のPCから能力チェック用のPythonスクリプトを使用しました。推論サービスの/v1/systemoneへHTTPSでリクエストを送り、Webサービスは経由していません。認証には、呼び出し権限を持つGoogleアカウントのIDトークンをgcloud auth print-identity-tokenで取得し、Authorization: Bearerヘッダーに付けています。

次の表は、前述のGPU・推論設定で測定した結果から、各項目につき1問ずつ選んだ実測例です。「モデル処理/直接応答」には、モデル処理時間と直接リクエストの応答時間をこの順で示しています。

画像 項目 正解 Clef-flash:回答/確信度
モデル処理/直接応答(ms)
Clef:回答/確信度
モデル処理/直接応答(ms)
赤いランプが点灯した信号機 色(c02) 赤 赤/97.5%
616/854
赤/99.1%
369/611
箱の右上に白いラベル 位置(p01) 右上 右上/96.1%
668/777
右上/98.6%
370/480
良品見本と部品が1つ欠けた検査対象 見本比較(r02) 部品が1つ欠けている 部品が1つ欠けている/81.8%
1,249/1,445
部品が1つ欠けている/98.7%
647/833
LOT A-01と書かれたラベル 文字(t01) A-01あり あり/57.1%
616/755
あり/96.9%
366/512
針が赤い範囲を指すメーター メーター(g02) 赤 赤/94.0%
617/779
赤/98.1%
366/528
オレンジ色の丸が7個ある画像 個数(n03) 7個 7個/59.4%
639/796
7個/84.5%
369/521
表面に大きな傷がある灰色の板 傷(d02) あり あり/95.3%
611/725
あり/98.4%
357/469
ヘルメットを着用した作業者 保護具(h01) 着用 着用/98.4%
941/1,353
着用/99.1%
494/910
傷みのないバナナ バナナの傷み(b01) 傷みなし 傷みなし/98.0%
501/799
傷みなし/98.7%
319/575

数値は代表として掲載した1回の実行結果です。モデルの速さだけを比較する表ではありません。

実写真の出典は、h01がAt work, in full safety gear.jpg(Oscar Wafula、CC BY-SA 4.0)、b01がBanana (54284068573).jpg(Choo Yut Shing、CC BY 2.0)です。

原画像はh01が1920×2560px、b01が3600×2400pxです。能力チェックには、それぞれ960×1280px、960×640pxのJPEGを使いました。

記事の表では、h01を180×240px、b01を320×213pxに縦横比を保って縮小し、余白を付けて320×240pxのJPEGにしています。この掲載用の加工では写真の一部を切り取っていません。

回答精度と確信度

正解数と、デモの表示用3区分に入った回答数は次のとおりです。

モデル / GPU 正解 自動判定 要確認 人に確認
Clef-flash(9B)/ L4 35/35 27 6 2
Clef(27B)/ RTX PRO 6000 35/35 33 2 0

確信度別の件数とモデル処理時間の中央値を示すグラフ。GPUが異なるためモデル単体の速度比較ではない

今回の35問では、設定した「確信度90%以上」の基準を満たした回答は、Clef-flashで27問、Clefで33問でした。両モデルは基盤モデルも異なるため、この差をパラメータ数だけの効果とは判断できません。

応答時間(レイテンシ)

計測区間

モデル処理時間は、推論サービスで判定関数を呼ぶ直前から、結果データの作成とGPUキャッシュの整理が終わるまでを測った時間です。計測に含むのは、入力のトークン化、画像のモデル入力への変換、GPUへの転送、モデル計算、確率と回答データの整理です。画像のデコード、アプリ側の縮小、HTTP応答のJSONへの変換と送信は含みません。したがって、GPU計算だけの時間ではありません。

直接リクエストの応答時間は、PC側で送信処理を呼ぶ直前から、応答本文を受け取ってJSONを解析し終えるまでを測った時間です。画像の読み込み・縮小・Base64への変換とIDトークンの取得は、計測前に済ませました。計測には、リクエストのJSONへの変換、通信、推論サービス側の処理、応答JSONの解析が含まれます。Webサービスの処理やブラウザの画面表示は含まないため、この測定だけではアプリの体感時間や直接応答との差は分かりません。

集計方法と測定結果

Clef-flashは4回、Clefは2回実行しました。実行ごと・画像枚数ごとに中央値と95パーセンタイルを求め、次の表には各統計値の最小値〜最大値を示しています。全実行をまとめた統計値ではありません。また、この範囲は信頼区間でも、個々のリクエストの最小値〜最大値でもありません。値は秒単位で小数第2位に丸め、両端が同じ表示になる場合は1つの値で示しています。

開始直後の影響を避けるため、各実行の先頭ケースc01(1枚画像)を1件だけ除外しました。除外後の測定件数は、1実行あたり1枚画像26件、2枚画像4件です。複数の質問を持つケースも、1リクエストを1件として集計しています。

95パーセンタイルは、測定値を昇順に並べ、0始まりの位置(n - 1) × 0.95の前後の値を比例配分する線形補間で求めました(nは測定件数)。1枚画像も各実行26件の少数標本なので、95パーセンタイルは参考値です。2枚画像は各実行4件しかないため、95パーセンタイルを掲載していません。

モデル / 画像枚数 モデル処理:中央値(秒) モデル処理:95パーセンタイル(秒) 直接応答:中央値(秒) 直接応答:95パーセンタイル(秒)
Clef-flash / 1 0.62–0.64 0.93–0.96 0.78–0.79 1.32–1.34
Clef-flash / 2 1.25–1.28 — 1.45–1.47 —
Clef / 1 0.36–0.37 0.48–0.49 0.52–0.53 0.88–0.89
Clef / 2 0.64–0.65 — 0.85 —

今回の構成では、Clefの方が短い応答時間になりました。ただし、Clef-flashはL4、ClefはRTX PRO 6000を使用しているため、この結果だけではモデルそのものの速さを比較できません。Cloudflareの公表値とも、入力・ハードウェア・計測区間・通信経路が異なるため、直接比較しないでください。

結果を読む際の注意点

用意した35問には両モデルともすべて正答しました。実際の現場での性能や、確信度によって誤判定を見つけられるかは未検証です。確信度90%以上の回答数の差だけで、誤判定の減少や自動判定の安全性の向上を示すことはできません。

なお、同じ入力と環境で繰り返したところ、回答も確率も同じ値でした。これは今回の固定した環境だけで確認した結果であり、ほかの入力や環境でも常に同じ結果になるという保証ではありません。

実装と運用で分かったこと

重みファイルが公開されていたため、Clefを自分たちの環境でホスティングできるか試してみたいと考えました。実行基盤にCloud Run GPUを選んだのは、Compute Engineでホスティングするより費用を抑えられるのではないかと考えたためです。

最大の課題は、判定処理ではなく、停止状態から起動するときのモデル転送でした。約19GB〜55GBの重みファイルを起動のたびにダウンロードする構成では、結果が表示されるまでの時間はGPUの性能より起動時間に左右されます。開始時刻が決まっているデモでは、事前にモデルを起動しておく必要があります。

最小インスタンス数を常時1にすると維持費用がかかるため、今回は採用しませんでした。通常は0に設定し、事前起動ボタンを使っています。最小インスタンスの設定で起動待ちを減らせますが、再起動や追加インスタンスの起動待ちまでなくなるわけではありません。

Clef-flashでは、Cloud Storage上のファイルを直接参照する方法と、起動時に並列ダウンロードしてから読み込む方法を試しました。今回の環境では、どちらもモデルの準備に数分かかりました。読み込み方を変えるだけでは、起動時間を大きく短縮できませんでした。

次の検証では、正解が分かっている画像で確信度と正誤の関係を調べ、自動判定に使う基準値を決めます。基準値の決定に使う画像と、最終評価に使う画像は分ける必要があります。

次のテストには、実物、照明の変化、見切れ、似た不良、想定外の物体を含める予定です。全体の正解率に加え、不良をOKと判定した割合、高い確信度で誤答した割合、自動判定できた割合を確認し、基準値の実用性を評価します。

まとめ

ClefをCloud Run GPUで動かし、画像判定アプリを作りました。回答や確率を決まったフィールドから読み取り、画面に表示できる点が扱いやすかったです。用意した35問は両モデルとも全問正解で、確信度90%以上の回答はClef-flashで27問、Clefで33問でした。停止状態から使う際には、起動時のモデル転送に時間がかかることが課題でした。

参考資料

Cloud Ace Tech Blog
Cloud Ace Tech Blog

Discussion