<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<p data-line="2" class="code-line">AMD Ryzen AI Max+ 395 を搭載した EVO-X2 で、gpt-oss:20b を CPU/GPU/NPU で動作させて処理速度を比較します。</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p data-line="5" class="code-line">本記事は Claude Code の生成結果をベースに編集しました。</p>
</div></aside>
<h1 id="%E6%B8%AC%E5%AE%9A%E7%92%B0%E5%A2%83" data-line="8" class="code-line">
<a class="header-anchor-link" href="#%E6%B8%AC%E5%AE%9A%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 測定環境</h1>
<ul data-line="10" class="code-line">
<li data-line="10" class="code-line">
<strong>プロセッサ</strong>: AMD Ryzen AI Max+ 395（16コア）</li>
<li data-line="11" class="code-line">
<strong>OS</strong>: Windows 11 Pro 24H2</li>
<li data-line="12" class="code-line">
<strong>RAM</strong>: 64GB</li>
<li data-line="13" class="code-line">
<strong>VRAM</strong>: 64GB</li>
<li data-line="14" class="code-line">
<strong>モデル</strong>: gpt-oss:20b</li>
<li data-line="15" class="code-line">
<strong>ソフトウェア</strong>:
<ul data-line="16" class="code-line">
<li data-line="16" class="code-line">CPU/GPU: <a href="https://ollama.com/" target="_blank" rel="nofollow noopener noreferrer">Ollama</a> 0.12.6</li>
<li data-line="17" class="code-line">NPU: <a href="https://github.com/FastFlowLM/FastFlowLM" target="_blank" rel="nofollow noopener noreferrer">FastFlowLM (FLM)</a> 0.9.13</li>
</ul>
</li>
<li data-line="18" class="code-line">
<strong>プロンプト</strong>: AIの将来を予測してください。</li>
<li data-line="19" class="code-line">
<strong>測定方法</strong>:
<ul data-line="20" class="code-line">
<li data-line="20" class="code-line">Ollama: <code>/set verbose</code>
</li>
<li data-line="21" class="code-line">FLM: <code>/verbose</code>
</li>
</ul>
</li>
</ul>
<h1 id="%E6%B8%AC%E5%AE%9A%E7%B5%90%E6%9E%9C" data-line="23" class="code-line">
<a class="header-anchor-link" href="#%E6%B8%AC%E5%AE%9A%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 測定結果</h1>
<p data-line="25" class="code-line">単位: tokens/s（1秒あたりのトークン数）</p>
<table data-line="27" class="code-line">
<thead data-line="27" class="code-line">
<tr data-line="27" class="code-line">
<th>デバイス</th>
<th style="text-align:right">プロンプト評価速度</th>
<th style="text-align:right">生成速度</th>
</tr>
</thead>
<tbody data-line="29" class="code-line">
<tr data-line="29" class="code-line">
<td>CPU</td>
<td style="text-align:right">92.58</td>
<td style="text-align:right">17.04</td>
</tr>
<tr data-line="30" class="code-line">
<td>GPU</td>
<td style="text-align:right">401.46</td>
<td style="text-align:right">44.58</td>
</tr>
<tr data-line="31" class="code-line">
<td>NPU</td>
<td style="text-align:right">18.20</td>
<td style="text-align:right">10.94</td>
</tr>
</tbody>
</table>
<p data-line="33" class="code-line">GPU が最も高速で、CPU は NPU よりも高い性能を示し、NPU は最も低速でした。</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p data-line="36" class="code-line">FLM では、プロンプト処理は Prefill、トークン生成は Decoding と表現されます。</p>
</div></aside>
<h2 id="120b-%E3%81%A8%E3%81%AE%E6%AF%94%E8%BC%83" data-line="39" class="code-line">
<a class="header-anchor-link" href="#120b-%E3%81%A8%E3%81%AE%E6%AF%94%E8%BC%83" aria-hidden="true"></a> 120B との比較</h2>
<p data-line="41" class="code-line">GPU で gpt-oss:120b を動作させると、プロンプト評価速度 209.07 / 生成速度 33.87 でした。パラメーター数は 6 倍ですが、MoE を適切に構成することで速度低下が抑えられています。</p>
<p data-line="43" class="code-line">Ryzen AI Max+ 395 の VRAM 容量を活かしつつ実用的な速度で動くモデルとして理想に近いかもしれません。</p>
<h2 id="%E3%81%9D%E3%81%AE%E4%BB%96" data-line="45" class="code-line">
<a class="header-anchor-link" href="#%E3%81%9D%E3%81%AE%E4%BB%96" aria-hidden="true"></a> その他</h2>
<p data-line="47" class="code-line">その他のモデルの計測結果については、以下を参照してください。（GPU のみ）</p>
<ul data-line="49" class="code-line">
<li data-line="49" class="code-line"><a href="https://gist.github.com/7shi/013baeb748f63fdb3057b9a682832fdb" target="_blank" rel="nofollow noopener noreferrer">https://gist.github.com/7shi/013baeb748f63fdb3057b9a682832fdb</a></li>
</ul>
<h1 id="npu-%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" data-line="51" class="code-line">
<a class="header-anchor-link" href="#npu-%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> NPU について</h1>
<p data-line="53" class="code-line">NPU には以下のような特徴があります。</p>
<ul data-line="55" class="code-line">
<li data-line="55" class="code-line">
<strong>CPU負荷の軽減</strong>: NPU で推論を実行することで、CPU を他のタスクに使用できる</li>
<li data-line="56" class="code-line">
<strong>消費電力の効率</strong>: NPU は AI 処理に特化しており、同じ処理を CPU で行うより消費電力が少ないとされている</li>
<li data-line="57" class="code-line">
<strong>モバイル用途での優位性</strong>: バッテリー駆動のノート PC では、消費電力の低さが稼働時間に直結</li>
</ul>
<p data-line="59" class="code-line">Ryzen AI Max+ 395 は 16 コアという強力な CPU を搭載しているため、NPU の性能優位性が見られませんでした。</p>
<p data-line="61" class="code-line">また、デスクトップ環境で LLM を動かす場合、以下の理由から NPU の優位性は限定的です。</p>
<ul data-line="63" class="code-line">
<li data-line="63" class="code-line">十分な電力供給があるため、消費電力の差が大きな問題にならない</li>
<li data-line="64" class="code-line">強力な GPU が利用可能</li>
<li data-line="65" class="code-line">CPU 負荷が掛からないのは GPU でも同様</li>
</ul>
<p data-line="67" class="code-line">ただし、複数の AI タスクを並行実行する場合や、AI タスクを実行しながら他の重い処理を行う場合には、NPU の存在意義が出てくる可能性があります。</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p data-line="70" class="code-line">Recall のような「裏方であまり電力消費せずに常時稼働するようなAI処理向け」ではないかとのご指摘をいただきました。👉<a href="https://x.com/m_matsubara/status/1979539190766514495" target="_blank" rel="nofollow noopener noreferrer">リンク</a></p>
</div></aside>
<p data-line="73" class="code-line">これらの課題は業界でも認識されているようで、AMD が将来の Zen 6 系 APU 製品で NPU の搭載を取りやめる可能性があるという噂も出ています。</p>
<p data-line="75" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__b47f0415fae31" src="https://embed.zenn.studio/card#zenn-embedded__b47f0415fae31" data-content="https%3A%2F%2Fgazlog.com%2Fentry%2Famd-zen6-no-more-npu%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://gazlog.com/entry/amd-zen6-no-more-npu/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://gazlog.com/entry/amd-zen6-no-more-npu/</a></p>
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81" data-line="77" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
<p data-line="79" class="code-line">Ryzen AI Max+ 395 での LLM 推論速度測定は GPU &gt; CPU &gt; NPU という結果になりました。デスクトップ環境では NPU のメリットが少ないため、GPU での実行が推奨されます。</p>
<h1 id="%E9%96%A2%E9%80%A3%E8%A8%98%E4%BA%8B" data-line="81" class="code-line">
<a class="header-anchor-link" href="#%E9%96%A2%E9%80%A3%E8%A8%98%E4%BA%8B" aria-hidden="true"></a> 関連記事</h1>
<p data-line="83" class="code-line">NPU がなかなか活用されない状況について調査した記事です。NPU では大型モデルを動かすことは想定されておらず、処理速度もそれほど高速ではないことが示唆されました。</p>
<p data-line="85" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__9d9ce70a70dfd" src="https://embed.zenn.studio/card#zenn-embedded__9d9ce70a70dfd" data-content="https%3A%2F%2Fnote.com%2F7shi%2Fn%2Fnb372abf33ba9" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://note.com/7shi/n/nb372abf33ba9" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://note.com/7shi/n/nb372abf33ba9</a></p>
<p data-line="87" class="code-line">VRAM に収まる範囲での比較では、Radeon AI Max+ 395 の GPU (Radeon 8060S) は Radeon RX 7600 XTより少し速く、CPU は Radeon 780M (iGPU) より少し速いという結果でした。</p>
<p data-line="89" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__ada1070885e18" src="https://embed.zenn.studio/card#zenn-embedded__ada1070885e18" data-content="https%3A%2F%2Fqiita.com%2F7shi%2Fitems%2Fdc037c2d5b0add0da33a" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://qiita.com/7shi/items/dc037c2d5b0add0da33a" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://qiita.com/7shi/items/dc037c2d5b0add0da33a</a></p>


Ryzen AI Max+ 395 で LLM 推論速度を比較

Discussion