📌

Ubuntu/Debian環境におけるNVIDIAドライバのバージョン固定が簡単になっていた話

に公開

2行まとめ

  • Ubuntu/Debian環境においてNVIDIAドライバのバージョン固定が簡単になった
  • sudo apt install nvidia-driver-pinning-580.105.08(バージョンは例)するだけ

背景

NVIDIA製GPUを使った開発をしているときに、こんなメッセージに出逢ったことはありませんか?

$ nvidia-smi
Failed to initialize NVML: Driver/library version mismatch

$ some-command-using-gpu
RuntimeError: CUDA driver initialization failed

エラーメッセージの種類は様々ですが、NVIDIAドライバの自動アップデートが原因であることがほとんどです。
これは、パッケージの自動アップデート機構によりNVIDIAドライバがアップデートされ、Linuxカーネルが読み込んでいるドライバとバージョンの不整合が生じたときに発生します。

単にマシンを再起動するか、rmmodコマンド、modprobeコマンドなどを使ってNVIDIAドライバを再ロードすることで対処できますが、少々煩わしいです。
共有マシンだったり、GPUを利用するコンテナが複数起動している環境だったりすると、さらに面倒です。

いつの間にか簡単に固定できるようになっていた

NVIDIAドライバの自動アップデートによるバージョン不整合を避けるために、自動アップデート機構を無効にしたり、/etc/apt/preferences.dにファイルを作成したりしてきましたが、いつの間にか簡単にバージョン固定(Pinning)が簡単に行えるようになっていました。

別件で『NVIDIA Driver Installation Guide』を読んでいたところ、「Version locking packages for Ubuntu / Debian」という項目を見つけたのです。
簡単に調べた限りでは、現時点で最新のLTSB(Long Term Support Branch)であるR580からだと思います。

https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/recent-updates.html#version-locking-packages-for-ubuntu-debian

「Recent Updates」という項目にあり、かつバージョン番号が含まれていないURLなので、現時点(2025年11月12日)のスクリーンショットも貼っておきます。

これからの手軽なバージョン固定の方法

詳しくは「version locking section for APT」を見て頂くとして、実際の例を以下に示します。

メジャーバージョン(R580)を固定する場合:

$ sudo apt install nvidia-driver-pinning-580
$ sudo apt install nvidia-driver-580

パッチバージョンまで固定する場合:

$ sudo apt install nvidia-driver-pinning-580.105.08
$ sudo apt install nvidia-driver-580

要するに、NVIDIAドライバをインストールする前にバージョン固定用のパッケージ(nvidia-driver-pinning-*)をインストールするだけです。
なお、NVIDIAドライバ本体であるnvidia-driver-*の部分はお好みのバリエーション(ヘッドレス版、サーバ版など)に適宜変更してください。

どうやって固定しているのか?

バージョン固定用のパッケージが行っていることは単純で、手動でバージョンを固定する場合と同様に/etc/apt/preferences.d/*以下にファイルを置いているだけです。

$ dpkg -L nvidia-driver-pinning-580.105.08
/.
/etc
/etc/apt
/etc/apt/preferences.d
/etc/apt/preferences.d/nvidia-driver-pin
/usr
/usr/share
/usr/share/doc
/usr/share/doc/nvidia-driver-pinning-580.105.08
/usr/share/doc/nvidia-driver-pinning-580.105.08/changelog.Debian.gz
/usr/share/doc/nvidia-driver-pinning-580.105.08/copyright

$ cat /etc/apt/preferences.d/nvidia-driver-pin
# Basic driver packages, includes foreign architectures
# cuda-compat, built from nvidia-graphics-drivers does not have a generic common name so APT installs it
# if requested.
Package: src:nvidia-graphics-drivers-580:any src:nvidia-kmod-open:any
Pin: version 580.105.08-*
Pin-Priority: 1000

# Basic driver packages, only in the native architectures
Package: src:nvidia-modprobe src:nvidia-persistenced src:nvidia-settings src:nvidia-xconfig
Pin: version 580.105.08-*
Pin-Priority: 1000

# Meta packages, includes foreign architectures
Package: src:cuda-drivers:any src:nvidia-open:any
Pin: version 580.105.08-*
Pin-Priority: 1000

# Extra driver packages, only in the native architectures
Package: src:libnvidia-nscq src:libnvsdm src:nvidia-fabricmanager src:nvidia-imex src:nvlink5 src:fabricmanager src:imex
Pin: version 580.105.08-*
Pin-Priority: 1000

NVIDIAドライバをバージョンアップしたい時は?

残念ながらまだ実施したことはありませんが、上記ドキュメントによると固定するバージョンの変更は、以下のように変更先のパッケージをインストールするだけ、とのことです。

$ sudo apt install -V --purge nvidia-driver-pinning-590

NVIDIAドライバのバージョンを完全に固定したい場合は?

NVIDIAドライバのバージョンを完全に固定したい場合(プロダクション環境、エッジ環境など)は、個人的にはUbuntu/Debianパッケージは使わず、runファイルでインストールするのが確実だと思っています。

今回紹介したバージョン固定の方法は、開発環境など「たまにNVIDIAドライバのバージョンを更新する(したい)けれど、普段は固定しておきたい」という環境や、「手軽に環境構築したいけれど、NVIDIAドライバの自動更新には煩わされたくない」という方に向いています。

最後に

手軽にNVIDIAドライバのバージョンを固定する方法を知ったので簡単に紹介してみました。
少しでも参考になったら「いいね」して頂けると励みになります。

さらば!Driver/library version mismatch!!🚀🚀🚀

関連記事

https://zenn.dev/yuyakato/articles/6915e735bc6aa5

https://zenn.dev/yuyakato/articles/f93b35d269d245

Discussion