<h2 id="%E3%80%90%E7%9B%AE%E7%9A%84%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90%E7%9B%AE%E7%9A%84%E3%80%91" aria-hidden="true"></a> 【目的】</h2>
<p>Windows環境のTensorFlow 2.5～2.10でGPUを使えるようにします。</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>TensorFlow 2.11.0 以降は Windows Native では GPU がサポートされなくなりました。<br>
WSL2 または WSL2 上で動作する Docker 環境にてGPUを利用することが可能です。<br>
また、環境によっては <code>tensorflow-cpu</code> と <code>TensorFlow-DirectML-Plugin</code> を組み合わせることでGPUを利用することも可能です。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/fdd164ec5454-20221123.png" alt loading="lazy" class="md-img"><br>
<a href="https://www.tensorflow.org/install/pip?hl=ja#windows-native" target="_blank" rel="nofollow noopener noreferrer">【pipを使用してTensorFlowをインストールします】 - TensorFlow</a></p>
</div></aside>
<h2 id="%E3%80%90%E5%86%85%E5%AE%B9%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90%E5%86%85%E5%AE%B9%E3%80%91" aria-hidden="true"></a> 【内容】</h2>
<p>Windows環境のTensorFlowでCPUよりも高速で処理が行えるGPUを使えるようにします。<br>
過去にTF1系向けに書いたQiitaの記事を、TF2系で使えるように書き換えたものになります。<br>
<a href="https://qiita.com/rhene/items/31bf4713b9dbda28bcc1" target="_blank" rel="nofollow noopener noreferrer">【Windows版TensorFlow 1.13～1.15でGPUを使う (CUDAのインストール)】- Qiita</a></p>
<p>大まかには以下の手順を行います。</p>
<ul>
<li>ディスプレイドライバのインストールまたは更新</li>
<li>CUDA のインストール</li>
<li>cuDNN SDK のインストール</li>
<li>PATHの設定</li>
<li>TensorFlowのインストール</li>
</ul>
<p>詳細手順はTensorFlowの公式手順を参照してください。</p>
<p><a href="https://www.tensorflow.org/install/gpu?hl=ja" target="_blank" rel="nofollow noopener noreferrer">【TensorFlow - GPU support】- TensorFlow</a></p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>TF2.4以前のバージョンに関してはCUDAとcuDNNのバージョンを変えることで対応可能になります。<br>
TensorFlowの過去バージョンに対応するCUDAとcuDNNのバージョンの組み合わせについては、下記の記事を参考にしてください。<br>
<a href="https://www.tensorflow.org/install/source_windows?hl=ja#gpu" target="_blank" rel="nofollow noopener noreferrer">【Windows でのソースからのビルド ＃テスト済みのビルド構成/GPU - TensorFlow】</a></p>
</div></aside>
<h2 id="%E3%80%90%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E6%A7%8B%E6%88%90%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E6%A7%8B%E6%88%90%E3%80%91" aria-hidden="true"></a> 【システム構成】</h2>
<p>本記事を書いている2021年12月23日時点では以下の通り。<br>
(2022年11月23日更新)</p>
<ul>
<li>CUDA architectures 3.5, 3.7, 5.2, 6.0, 6.1, 7.0以上に対応しているGPUが搭載されているPC<br>
　<a href="https://developer.nvidia.com/cuda-gpus" target="_blank" rel="nofollow noopener noreferrer">【NVIDIA - CUDA GPUs】- NVidia</a><br>
　(※ なお GeoForce MX150 上記サイトに記載されていませんが、動作確認できました)</li>
<li>Windows 11/10/8.1/7 または Windows Server 2019/2016/2012 R2</li>
<li>Python 3.4以上 (本記事では3.8.12で確認)</li>
<li>TensorFlow 2.5.0～2.10.0 (本記事では2.5.0 / 2.7.0 / 2.9.0 / 2.10.0で確認)</li>
<li>CUDA 11.2 <strong>(※ バージョン注意)</strong>
</li>
<li>cuDNN 8.1.0 for CUDA 11.0, 11.1, 11.2 <strong>(※ バージョン注意)</strong>
</li>
</ul>
<h2 id="%E3%80%90%E5%89%8D%E6%8F%90%E6%9D%A1%E4%BB%B6%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90%E5%89%8D%E6%8F%90%E6%9D%A1%E4%BB%B6%E3%80%91" aria-hidden="true"></a> 【前提条件】</h2>
<p>本記事ではPyhon3.4以上およびpipが使える状態になっていることを想定しています。<br>
なお、Anaconda環境は想定していません。</p>
<h2 id="%E3%80%901.-%E3%83%87%E3%82%A3%E3%82%B9%E3%83%97%E3%83%AC%E3%82%A4%E3%83%89%E3%83%A9%E3%82%A4%E3%83%90%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%BE%E3%81%9F%E3%81%AF%E6%9B%B4%E6%96%B0%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%901.-%E3%83%87%E3%82%A3%E3%82%B9%E3%83%97%E3%83%AC%E3%82%A4%E3%83%89%E3%83%A9%E3%82%A4%E3%83%90%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%BE%E3%81%9F%E3%81%AF%E6%9B%B4%E6%96%B0%E3%80%91" aria-hidden="true"></a> 【1. ディスプレイドライバのインストールまたは更新】</h2>
<p>下記サイトより対応するGPUの最新のドライバを取得して、インストールします。<br>
<a href="https://www.nvidia.com/Download/index.aspx" target="_blank" rel="nofollow noopener noreferrer">【NVIDIA Driver Downloads】- NVidia</a></p>
<p>すでにドライバが入っている場合、可能ならばカスタムインストールからクリーンインストールを選択します。<br>
クリーンインストールを選択した場合、設定済みの項目は全て初期化されます。</p>
<h2 id="%E3%80%902.-cuda-11.2%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%902.-cuda-11.2%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91" aria-hidden="true"></a> 【2. CUDA 11.2のインストール】</h2>
<p>下記サイトよりCUDAをダウンロードしてインストールします。<br>
<a href="https://developer.nvidia.com/cuda-zone" target="_blank" rel="nofollow noopener noreferrer">【NVIDIA - CUDA Zone】- NVidia</a></p>
<p><a href="https://developer.nvidia.com/cuda-toolkit-archive" target="_blank" rel="nofollow noopener noreferrer">Archive of Previous CUDA Releases</a>から「CUDA Toolkit 11.2.2 (March 2021)」をダウンロードしてください。<br>
【直リン】<br>
<a href="https://developer.nvidia.com/cuda-11.2.2-download-archive" target="_blank" rel="nofollow noopener noreferrer">【CUDA Toolkit 11.2.2 Archive】- NVidia</a></p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/23660caf7960-20211223.png" alt loading="lazy" class="md-img"></p>
<p>インストール自体はデフォルトで構いません。</p>
<h3 id="%E3%80%902.1-cuda%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E6%99%82%E3%81%AB%E3%80%8Cvisual-studio-integration%E3%80%8D%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%AB%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%902.1-cuda%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E6%99%82%E3%81%AB%E3%80%8Cvisual-studio-integration%E3%80%8D%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%AB%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E5%A0%B4%E5%90%88%E3%80%91" aria-hidden="true"></a> 【2.1 CUDAインストール時に「Visual Studio Integration」のインストールに失敗する場合】</h3>
<p>以下の記事を参考にしてください。<br>
<a href="https://qiita.com/rhene/items/2a2eac7d1c0a8edc3ac5" target="_blank" rel="nofollow noopener noreferrer">【Windows端末にCUDAをインストールする際に、「Visual Studio Integration」のインストールに失敗する場合】- Qiita</a></p>
<h2 id="%E3%80%903.-cudnn-sdk%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%903.-cudnn-sdk%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91" aria-hidden="true"></a> 【3. cuDNN SDKのインストール】</h2>
<p>下記URLからcuDNNをダウンロードします。<br>
上記でダウンロードしたCUDAのバージョンに合ったものをダウンロードしてください。<br>
なお、ダウンロード時には開発者登録を行う必要があります。</p>
<p><a href="https://developer.nvidia.com/cudnn" target="_blank" rel="nofollow noopener noreferrer">【NVIDIA - NVIDIA cuDNN】- NVidia</a></p>
<p>「Download cuDNN &gt;」のボタン押してダウンロードページに進んでください。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/x9fgpv6c7qwsabghzqurxxkzpguv" alt loading="lazy" class="md-img"></p>
<p>「☑ I Agree To the Terms of the cuDNN Software License Agreement」にチェックをしたうえで、「Archived cuDNN Releases」をクリックしてください。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/a4cbc37d680c-20211223.png" alt loading="lazy" class="md-img"></p>
<p>本手順では「Download cuDNN v8.1.0 (January 26th, 2021), for CUDA 11.0,11.1 and 11.2」をダウンロードしています。</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>cuDNNのバージョンが<code>8.1.0</code>で<code>for CUDA 11.0,11.1 and 11.2</code>のものをダウンロードしてください</p>
</div></aside>
<p><img src="https://storage.googleapis.com/zenn-user-upload/c9d6287d5f50-20211223.png" alt loading="lazy" class="md-img"></p>
<p>ダウンロードしたらzipファイルを解凍して適当な場所に展開します。<br>
場所はどこでも構いませんが、TensorFlowの手順に合わせるのであれば「C:\tools\cuda\bin」に「cuDNN64_8.dll」が含まれるように解凍します。</p>
<h2 id="%E3%80%904.-path%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%904.-path%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%80%91" aria-hidden="true"></a> 【4. PATHの設定】</h2>
<p>下記を参考にCUDAおよびcuDNNにPATHが通るように設定します。<br>
最低限cuDNNの「cuDNN64_8.dll」が置いてあるディレクトリにPATHが通っている必要があります。</p>
<p>【必須設定】</p>
<ul>
<li>C:\tools\cuda\bin (← 上記の例の場合のcuDNN64_8.dllの置き場所)<br>
　※ここにPATHに通っていないとTensorFlowでGPUが利用できません</li>
</ul>
<p>以下オプション (TensorFlowの手順には書いてあるが特に必要ない?)</p>
<ul>
<li>C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin<br>
　(↑ CUDAのインストーラによってシステム環境変数に設定されます)</li>
<li>C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\CUPTI\lib64</li>
<li>C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\include</li>
</ul>
<h2 id="%E3%80%905.-tensorflow%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%905.-tensorflow%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%80%91" aria-hidden="true"></a> 【5. TensorFlowのインストール】</h2>
<p>TensorFlowはバージョン<code>1.xx</code>ではCPUのみを使うバージョンと、GPUを使うバージョンの2種類がありましたが、<code>2.1</code>以降では、CPU版とGPU版が統合されています。<br>
したがって、以下のコマンドでTensorFlowをインストールすることで、CPU/GPUどちらも利用できます。</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">TensorFlowのインストール</span></div>
<pre class="language-shell"><code class="language-shell">pip <span class="token function">install</span> tensorflow
</code></pre>
</div><h2 id="%E3%80%90%E5%8B%95%E4%BD%9C%E7%A2%BA%E8%AA%8D%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90%E5%8B%95%E4%BD%9C%E7%A2%BA%E8%AA%8D%E3%80%91" aria-hidden="true"></a> 【動作確認】</h2>
<p>以下のコマンドを実行します。</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">確認</span></div>
<pre class="language-shell"><code class="language-shell">python <span class="token parameter variable">-c</span> <span class="token string">"from tensorflow.python.client import device_lib;print(device_lib.list_local_devices());"</span>
</code></pre>
</div><p>正常に動作していれば <code>Successfully opened dynamic library ****.dll</code> と各種DLLが読み込まれたと表示されます。</p>
<p>DLLの読み込みに失敗した場合は <code>Could not load dynamic library '****.dll'; dlerror: ****.dll not found</code> のように表示されます。<br>
この場合、CUDAのセットアップが正常にできていないか、PATHが通っていない状態です。<br>
再インストールを試みるか、PATHの設定を見直してください。</p>
<p>正常に起動した場合、出力結果に <code>Created TensorFlow device (/device:GPU:0 with xxxx MB memory) -&gt; physical GPU (device: 0, name: xxxxx, pci bus id: 0000:01:00.0, compute capability: x.x)</code> や <code>device_type: "GPU"</code> の文言が確認できればGPUを認識しています。<br>
(下記の例では「GeForce MX150」を認識しています)<br>
<img src="https://storage.googleapis.com/zenn-user-upload/ndriwkddo6h4yjs2pinrhwj3um7p" alt loading="lazy" class="md-img"></p>
<h2 id="%E3%80%90tensorflow%E3%81%A8cuda%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90tensorflow%E3%81%A8cuda%E3%80%91" aria-hidden="true"></a> 【TensorFlowとCUDA】</h2>
<p>TensorFlowを使ったプログラムは、CPU版で動いていたものはそのままGPU版で動きます。<br>
内部処理がすべてCUDAを利用するように変更されているため、プログラムを変更すことなくGPUを利用できるようになります。</p>
<p>また、下記のようにCPUかGPUかを明示的に指定して実行することも可能です。</p>
<div class="code-block-container"><pre class="language-python"><code class="language-python"><span class="token keyword">import</span> tensorflow <span class="token keyword">as</span> tf
model <span class="token operator">=</span> tf<span class="token punctuation">.</span>keras<span class="token punctuation">.</span>applications<span class="token punctuation">.</span>vgg16<span class="token punctuation">.</span>VGG16<span class="token punctuation">(</span>weights<span class="token operator">=</span><span class="token string">'imagenet'</span><span class="token punctuation">)</span>

<span class="token comment"># CPUで推論</span>
<span class="token keyword">with</span> tf<span class="token punctuation">.</span>device<span class="token punctuation">(</span><span class="token string">'/cpu:0'</span><span class="token punctuation">)</span><span class="token punctuation">:</span>
    pred <span class="token operator">=</span> model<span class="token punctuation">.</span>predict<span class="token punctuation">(</span><span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">.</span> <span class="token operator">&lt;</span>省略<span class="token operator">&gt;</span> <span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">)</span>

<span class="token comment"># GPUで推論</span>
<span class="token keyword">with</span> tf<span class="token punctuation">.</span>device<span class="token punctuation">(</span><span class="token string">'/gpu:0'</span><span class="token punctuation">)</span><span class="token punctuation">:</span>
    pred <span class="token operator">=</span> model<span class="token punctuation">.</span>predict<span class="token punctuation">(</span><span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">.</span> <span class="token operator">&lt;</span>省略<span class="token operator">&gt;</span> <span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">.</span><span class="token punctuation">)</span>

</code></pre></div><h2 id="%E3%80%90gpu%E5%88%A9%E7%94%A8%E6%99%82%E3%81%AE%E9%80%9F%E5%BA%A6%E5%B7%AE%E3%80%91">
<a class="header-anchor-link" href="#%E3%80%90gpu%E5%88%A9%E7%94%A8%E6%99%82%E3%81%AE%E9%80%9F%E5%BA%A6%E5%B7%AE%E3%80%91" aria-hidden="true"></a> 【GPU利用時の速度差】</h2>
<p>参考までにVGG16による画像300枚の推論結果を置いておきます。<br>
(batch_size=16)</p>
<table>
<thead>
<tr>
<th style="text-align:left">スペック</th>
<th style="text-align:right">処理時間</th>
<th style="text-align:left">備考</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left">Core i7 8550U 1.8GHz</td>
<td style="text-align:right">74秒</td>
<td style="text-align:left">CPU版</td>
</tr>
<tr>
<td style="text-align:left">上記 + GeForce MX150</td>
<td style="text-align:right">6.2秒</td>
<td style="text-align:left">GPU版</td>
</tr>
</tbody>
</table>


Windows版TensorFlow 2.5～2.10でGPUを使う (CUDAのインストール)

【1. ディスプレイドライバのインストールまたは更新】

【2.1 CUDAインストール時に「Visual Studio Integration」のインストールに失敗する場合】

Discussion