Windows10/Windows11 上でCUDAとcuDNNとTensorRTを有効にしたonnxruntime-gpuのビルド

• 2022/11/18現在はVisual Studio 2019 のインストールが必須

• CUDA 11.4 + TensorRT-8.4.0.6 の場合のサンプルコマンド

• onnxruntime-gpu v1.13.1

• CUDAとTensorRTのROOTにそれぞれ事前に環境変数のPATHが通してあること

• PATHに追加したパスの一例

  CUDA_PATH:
    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4
  CUDA_PATH_V11_4:
    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4
  CUDNN_PATH:
    C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4
  Path:
    C:\Program Files\TensorRT-8.4.0.6\lib
    C:\Program Files\TensorRT-8.4.0.6\bin
  

• ビルド開始前にVSビルド用エクステンションのようなものをCUDAのフォルダからVSのフォルダへ全ファイルコピーする必要がある
• 下記は CUDA 11.4 がインストールされている場合

https://forums.developer.nvidia.com/t/cannot-run-samples-on-ms-visual-studi-2019/72472/2?u=pinto0309

From:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\extras\visual_studio_integration\MSBuildExtensions

To:
C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\MSBuild\Microsoft\VC\v160\BuildCustomizations

• ビルド

  git clone -b v1.13.1 https://github.com/microsoft/onnxruntime.git
  cd onnxruntime
  
  .\build.bat ^
  --config=Release ^
  --cmake_generator="Visual Studio 16 2019" ^
  --build_shared_lib ^
  --cudnn_home "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4" ^
  --cuda_home "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4" ^
  --use_tensorrt ^
  --use_cuda ^
  --cuda_version 11.4 ^
  --tensorrt_home "C:\Program Files\TensorRT-8.4.0.6" ^
  --enable_pybind ^
  --build_wheel ^
  --enable_reduced_operator_type_support ^
  --skip_tests