1. NVIDIA Driver / CUDA Driverのインストール

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
$ sudo dpkg -i cuda-keyring_1.1-1_all.deb
$ rm cuda-keyring_1.1-1_all.deb
$ sudo apt-get update
$ sudo apt-get -y install nvidia-open # NVIDIA Driver
$ sudo apt-get -y install cuda-toolkit # CUDA Driver
$ sudo reboot

2. Dockerのインストール

$ sudo apt-get update
$ sudo apt-get install ca-certificates curl
$ sudo install -m 0755 -d /etc/apt/keyrings
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
$ sudo chmod a+r /etc/apt/keyrings/docker.asc
$ echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
$ sudo apt-get update
$ sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

3. NVIDIA Container Toolkitのインストール

$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
$ sudo apt-get update
$ sudo apt-get install -y nvidia-container-toolkit
$ sudo nvidia-ctk runtime configure --runtime=docker
$ sudo systemctl restart docker

Futa Ogawa

 上手く動作しない場合https://international.download.nvidia.com/tesla/570.148.08/NVIDIA-Linux-x86_64-570.148.08.run などNVIDIA Driverのサイトに同じバージョンがないとエラーになるシステムがある。
nvidia-open でインストールされるバージョン: 575.51.03

NVIDIAサイトに存在するか: 存在しない
なのでエラーになることがある。
その場合は nvidia-open-570 をインストールすると解決する。
$ apt update
$ apt search nvidia-open
Sorting... Done
Full Text Search... Done
nvidia-open/unknown,now 575.51.03-0ubuntu1 amd64 [installed]
  NVIDIA Driver meta-package, Open GPU kernel modules, latest version

nvidia-open-560/unknown 560.35.05-0ubuntu1 amd64
  NVIDIA Driver meta-package, Open GPU kernel modules, 560 branch-specific

nvidia-open-565/unknown 565.57.01-0ubuntu1 amd64
  NVIDIA Driver meta-package, Open GPU kernel modules, 565 branch-specific

nvidia-open-570/unknown 570.148.08-1ubuntu1 amd64
  NVIDIA Driver meta-package, Open GPU kernel modules, 570 branch-specific

nvidia-open-575/unknown 575.51.03-0ubuntu1 amd64
  NVIDIA Driver meta-package, Open GPU kernel modules, 575 branch-specific

nvidia-opencl-dev/noble 12.0.140~12.0.1-4build4 amd64
  NVIDIA OpenCL development files