🔎

NVIDIA Nemotron 3 Super を Cloudflare Workers AI 上で日本語ベンチマーク約3000問やってみた

に公開
AI
Cloudflare
NVIDIA
Cloudflare Workers
nemotron
tech

はじめに

Cloudflare Workers AIで2026年3月11日から
NVIDIA Nemotron 3 Super（120B A12B） が利用可能になりました。
本記事では実装方法と日本語ベンチマーク結果を紹介します。

https://developers.cloudflare.com/workers-ai/models/nemotron-3-120b-a12b/

使用した日本語ベンチマーク

今回は以下の2つの公開ベンチマークを使用しました。いずれも多肢選択式で、LLMの日本語理解力を定量的に評価できます。

  • JCommonsenseQA（Yahoo Japan / JGLUE）— 日本語の常識推論を問う5択問題。「コップに関係の深いものは？→水」のような日常的な知識を問います。validセット全1,117問を使用。多くのLLMが80〜90%台を記録する標準的な難易度のベンチマークです。
  • JamC-QA（SB Intuitions）— 日本の文化・風習・法律・地理など日本固有の知識に特化した4択問題。「墓前に供えてはいけない花は？」のような、日本で暮らしていないと知り得ない知識を問います。testセット全2,142問を使用。Llama-3.1-405B等の大型モデルでも60〜70%程度の高難度ベンチマークです。

Cloudflare Workers AI の使い方

https://developers.cloudflare.com/workers-ai/get-started/workers-wrangler/

wrangler.toml

name = "my-ai-app"
main = "src/index.ts"
compatibility_date = "2024-06-20"

[ai]
binding = "AI"

基本的な呼び出し

interface Env { AI: any; }

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const result: any = await env.AI.run(
      "@cf/nvidia/nemotron-3-120b-a12b",
      {
        messages: [
          { role: "system", content: "日本語で回答してください。" },
          { role: "user", content: "BGPハイジャックとは何ですか？" },
        ],
        max_tokens: 1024,
        temperature: 0.3,
      }
    );

    // レスポンス抽出（content → reasoning フォールバック）
    const choice = result?.choices?.[0]?.message;
    const answer = choice?.content || choice?.reasoning || "";

    return new Response(JSON.stringify({ answer }), {
      headers: { "Content-Type": "application/json" },
    });
  },
};

ストリーミング

const stream = await env.AI.run("@cf/nvidia/nemotron-3-120b-a12b", {
  messages: [...],
  max_tokens: 1024,
  stream: true,
});

return new Response(stream, {
  headers: { "content-type": "text/event-stream" },
});

Reasoning（思考）モードへの対応

Nemotron 3 Superは回答前に内部でChain-of-Thought推論を行います。レスポンスには通常のcontentに加えてreasoningフィールドが存在します。

{
  "choices": [{
    "message": {
      "content": "日本で一番長い川は信濃川です...",
      "reasoning": "Okay, the user is asking about the longest river..."
    }
  }]
}

max_tokensが小さいとreasoningだけでトークンを消費し、contentが空になります。最低1024、複雑なタスクでは2048以上を推奨

ベンチマーク結果

ベンチマーク 問題数 正答率 平均レイテンシ 特徴
JCommonsenseQA 1,117 88.1% 1,778ms 日本語常識推論（5択）
JamC-QA 2,142 56.5% 5,792ms 日本固有知識（4択・高難度）

JCommonsenseQA（日本語常識推論・全1,117問）

JCommonsenseQA v1.3 — Yahoo Japan / JGLUEの5択常識推論ベンチマーク。
validセット全問を実行。

  • 正答率: 88.1%（984/1,117）
  • レイテンシ: 平均1,778ms / 中央値1,088ms / p95: 6,642ms

正解時 vs 不正解時の比較:

平均レイテンシ 平均トークン数
正解（984問） 1,500ms 144 tokens
不正解（133問） 3,841ms 441 tokens

不正解時はレイテンシが2.6倍、トークン数が3倍に増加
モデルが迷った問題ほどreasoningが長くなる傾向。

誤答パターン:

  • 類義語の混同: 「コップ」vs「カップ」、「仕手株」vs「仕手相場」、「表面」vs「顔面」
  • 曖昧な問題文: 「部屋は？」「人間は？」など文脈が不足する問題
  • 文化的ニュアンス: 「ビールのつまみで何まめ？→枝（枝豆）」のような言葉遊び

JamC-QA（日本固有知識・全2,142問）

JamC-QA — SB Intuitionsの日本文化特化4択ベンチマーク。
testセット全問を実行。

  • 正答率: 56.5%（1,211/2,142）
  • レイテンシ: 平均5,792ms / 中央値6,524ms / p95: 10,345ms

正解時 vs 不正解時の比較:

平均レイテンシ 平均トークン数
正解（1,211問） 4,431ms 514 tokens
不正解（931問） 7,561ms 898 tokens

JCommonsenseQAと同様、不正解時はレイテンシ1.7倍、トークン数1.7倍に増加。

カテゴリ別正答率:

カテゴリ 問題数 正答率 平均レイテンシ
風習 200 66.0% 4,878ms
医療 48 64.6% 6,137ms
文化 495 63.0% 5,003ms
歴史 343 58.9% 5,687ms
行政 110 55.5% 6,376ms
法律 297 53.5% 7,001ms
地理 272 52.2% 6,037ms
地域 377 45.6% 6,063ms

誤答パターン:

  • 時事・制度の詳細: 「年金手帳の廃止時期」「フリーランス新法の禁止事項」「救急車代」など最新の具体的数値
  • 地域トリビア: 「熊本県の米品種→森のくまさん」「群馬県のとんかつ街道」「東京のアンチモーニ工芸」
  • 文化の細部: 「となりのトトロの製作当初のタイトル」「醤油の呼称が使われ始めた時代」

リーダーボード上の他モデル（Llama-3.1-405B等）も60〜70%程度の高難度ベンチマーク。風習・文化など一般的な日本知識には強いが、地域固有の知識や最新の制度詳細が弱点。

Workersの制限とバッチ実行

Cloudflare WorkersにはリクエストあたりのCPU時間制限（Freeプラン: 10ms、Paidプラン: 30s）があります。AI推論自体はI/O待ちのためCPU時間にカウントされませんが、1リクエストで数十問を逐次実行するとウォールクロック時間が長くなり、接続タイムアウトのリスクがあります。

AI推論（env.AI.run）はI/O待ちのためCPU時間にはカウントされず、CPU時間の制限自体は問題になりません。実際のボトルネックは逐次呼び出しの合計待ち時間（ウォールクロック時間）で、これが長くなるとタイムアウトします。実測から1リクエストあたり2分以内に収めると安定することがわかりました。

ベンチマーク 1問あたり 20問 40問
JCommonsenseQA ~1.8s ~36s ~72s
JamC-QA ~5.8s ~116s ~232s

JamC-QAは40問だとタイムアウトが多発したため問題数を20問に抑えて実行しました。JCommonsenseQAは問題数を40問で安定しました。
https://developers.cloudflare.com/workers/platform/pricing/

実行コスト

Workers AIの課金単位はNeuronsで、料金は $0.011 / 1,000 Neurons です。今回のベンチマーク全問実行で消費したNeuronsは約490,000でした。

項目 JCommonsenseQA JamC-QA 合計
問題数 1,117 2,142 3,259
生成トークン数 200,309 1,461,921 1,662,230
平均トークン/問 179 683 —
合計Neurons — — 約490k
料金 — — 約$5.40（約810円）
1問あたり — — 約0.17円

まとめ　Cloudflare Workers AIで120Bモデルを初期投資ゼロで

JCommonsenseQAでは1,117問中 88.1%の正答率を記録し、日本語の常識推論において高い実力を示しました。JamC-QAは2,142問で 56.5%と、日本固有の文化・風習には強いものの地域知識やトリビアは苦手という結果でしたが、これはLlama-3.1-405B等の大型モデルでも60〜70%程度の高難度ベンチマークです。

レイテンシは中央値1,088msと十分実用的で、ユーザー体感としてストレスのない応答速度です。Nemotron 3 Superは総パラメータ120Bの大規模モデルであり、ローカル実行には専用GPU＋87GB以上のメモリが必要ですが

Cloudflare Workers AIならwrangler.tomlにAIバインディングを追加するだけで初期投資ゼロ・インフラ管理不要で即座に利用できます。GPUの調達やモデルのデプロイを考えることなく、120Bクラスの推論能力をすぐに自分のWorkerに組み込めるのは大きな魅力です。

https://workers.cloudflare.com/

Discussion