🐶

AMD GPU（Radeon、Instinct）で生成AIを動かしてみた

2023/12/25に公開

はじめに

AMDのGPU（RX7900 XTXとMI210）を使用して生成AIを動作させるまでの手順をまとめる。手順さえ分かってしまえばStable DiffusionやLLMなどのAIを問題なく、実用的な速度で動作させられることが分かった。

検証環境

AMD GPUをインストールした2台のPCで検証を行った。

RX7900 XTX

CPU	AMD Ryzen 9 7950X
GPU	AMD Radeon RX7900 XTX 24GB
Memory	64GB
OS	Ubuntu 22.04.3 LTS
Linux Kernel	6.2.0-37-generic

MI210

CPU	AMD Ryzen 9 7900X
GPU	AMD Instinct MI210 64GB
Memory	64GB
OS	Ubuntu 22.04.3 LTS
Linux Kernel	6.2.0-39-generic

小型のPCケースではGPUが入らなかったのでライザーケーブルでGPUを接続した。冷却用にファンを自作して取り付けた。

MI210検証の様子

使用したPC

個別にパーツを購入して組んだ自作PCを検証に使用した。

PCパーツリスト（ご参考）

https://amzn.to/4aqu28z
https://amzn.to/482uNmH
https://amzn.to/48raOO6
https://amzn.to/48nuMJK
https://amzn.to/3RyNS8W
https://amzn.to/3tpkxFW
https://amzn.to/3NAdNMn
https://amzn.to/3tA7phc
このケースならちゃんとGPU入ります。
https://amzn.to/3GMMT05

PyTorch環境のセットアップ

Ubuntu 22.04

既存の環境にインストールしても良いが、再現性のためクリーンインストールからの手順を記録する。Nvidia GPUを利用していた環境でAMD GPUに乗り換える場合はNvidiaドライバを削除（sudo apt purge nvidia*）しておかないとGUIが表示されなくなってしまうので注意すること。Ubuntu 22.04をクリーンインストールし、パッケージをアップデート、再起動する。

$ sudo apt update
$ sudo apt upgrade -y
$ sudo reboot

作業時のOSバージョンはこちら。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.3 LTS
Release:        22.04
Codename:       jammy

$ uname -r
6.2.0-39-generic

GPU

GPUがシステムに認識されていること、PCIe Gen4x16でリンクアップしていることをlspciで確認する。RX7900 XTX、MI210ともに次のような結果となる。

$ lspci -d 1002:164e
6d:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Device 164e (rev c2)

$ sudo lspci -d 1002:164e -vv | grep LnkSta:
                LnkSta: Speed 16GT/s (ok), Width x16 (ok)

ROCm 5.7.1

ROCm 5.7.1をインストールする。これ以外のバージョンやインストール方法も試したがうまくいかなかった。ROCm 5.7.0ではAI推論実行時にクラッシュする症状が見られた。

$ wget https://repo.radeon.com/amdgpu-install/5.7.1/ubuntu/jammy/amdgpu-install_5.7.50701-1_all.deb
$ sudo apt install ./amdgpu-install_5.7.50701-1_all.deb -y
$ sudo amdgpu-install --usecase=rocm --rocmrelease=5.7.1 --no-dkms

ユーザーがROCmにアクセスできるように、ユーザーをrenderグループ、videoグループに追加する。

$ sudo usermod -a -G render,video $LOGNAME
$ newgrp render

ROCmのコマンドを使ってGPUが正常に認識されていることを確認する。

RX7900 XTXの場合

$ /opt/rocm/bin/rocm-smi --showproductname
========================= ROCm System Management Interface =========================
=================================== Product Info ===================================
GPU[0]          : Card series:          0x744c
GPU[0]          : Card model:           0x2422
GPU[0]          : Card vendor:          Advanced Micro Devices, Inc. [AMD/ATI]
GPU[0]          : Card SKU:             TIC106615
GPU[1]          : Card series:          0x164e
GPU[1]          : Card model:           0x8877
GPU[1]          : Card vendor:          Advanced Micro Devices, Inc. [AMD/ATI]
GPU[1]          : Card SKU:             RAPHAEL
====================================================================================
=============================== End of ROCm SMI Log ================================

MI210の場合。

$ /opt/rocm/bin/rocm-smi --showproductname
========================= ROCm System Management Interface =========================
=================================== Product Info ===================================
GPU[0]          : Card series:          Instinct MI210
GPU[0]          : Card model:           0x0c34
GPU[0]          : Card vendor:          Advanced Micro Devices, Inc. [AMD/ATI]
GPU[0]          : Card SKU:             D67301
GPU[1]          : Card series:          0x164e
GPU[1]          : Card model:           0x8877
GPU[1]          : Card vendor:          Advanced Micro Devices, Inc. [AMD/ATI]
GPU[1]          : Card SKU:             RAPHAEL
====================================================================================
=============================== End of ROCm SMI Log ================================

rocminfoも叩いてみて正常に情報が得られることを確認する。

RX7900 XTX

$ rocminfo
ROCk module is loaded
=====================
HSA System Attributes
=====================
Runtime Version:         1.1
System Timestamp Freq.:  1000.000000MHz
Sig. Max Wait Duration:  18446744073709551615 (0xFFFFFFFFFFFFFFFF) (timestamp count)
Machine Model:           LARGE
System Endianness:       LITTLE
Mwaitx:                  DISABLED
DMAbuf Support:          NO

==========
HSA Agents
==========
*******
Agent 1
*******
  Name:                    AMD Ryzen 9 7950X 16-Core Processor
  Uuid:                    CPU-XX
  Marketing Name:          AMD Ryzen 9 7950X 16-Core Processor
  Vendor Name:             CPU
  Feature:                 None specified
  Profile:                 FULL_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        0(0x0)
  Queue Min Size:          0(0x0)
  Queue Max Size:          0(0x0)
  Queue Type:              MULTI
  Node:                    0
  Device Type:             CPU
  Cache Info:
    L1:                      32768(0x8000) KB
  Chip ID:                 0(0x0)
  ASIC Revision:           0(0x0)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   4500
  BDFID:                   0
  Internal Node ID:        0
  Compute Unit:            32
  SIMDs per CU:            0
  Shader Engines:          0
  Shader Arrs. per Eng.:   0
  WatchPts on Addr. Ranges:1
  Features:                None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: FINE GRAINED
      Size:                    64939500(0x3dee5ec) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
    Pool 2
      Segment:                 GLOBAL; FLAGS: KERNARG, FINE GRAINED
      Size:                    64939500(0x3dee5ec) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
    Pool 3
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    64939500(0x3dee5ec) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
  ISA Info:
*******
Agent 2
*******
  Name:                    gfx1100
  Uuid:                    GPU-cfcfba3c00000000
  Marketing Name:          Radeon RX 7900 XTX
  Vendor Name:             AMD
  Feature:                 KERNEL_DISPATCH
  Profile:                 BASE_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        128(0x80)
  Queue Min Size:          64(0x40)
  Queue Max Size:          131072(0x20000)
  Queue Type:              MULTI
  Node:                    1
  Device Type:             GPU
  Cache Info:
    L1:                      32(0x20) KB
    L2:                      6144(0x1800) KB
    L3:                      98304(0x18000) KB
  Chip ID:                 29772(0x744c)
  ASIC Revision:           0(0x0)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   2371
  BDFID:                   768
  Internal Node ID:        1
  Compute Unit:            96
  SIMDs per CU:            2
  Shader Engines:          6
  Shader Arrs. per Eng.:   2
  WatchPts on Addr. Ranges:4
  Features:                KERNEL_DISPATCH
  Fast F16 Operation:      TRUE
  Wavefront Size:          32(0x20)
  Workgroup Max Size:      1024(0x400)
  Workgroup Max Size per Dimension:
    x                        1024(0x400)
    y                        1024(0x400)
    z                        1024(0x400)
  Max Waves Per CU:        32(0x20)
  Max Work-item Per CU:    1024(0x400)
  Grid Max Size:           4294967295(0xffffffff)
  Grid Max Size per Dimension:
    x                        4294967295(0xffffffff)
    y                        4294967295(0xffffffff)
    z                        4294967295(0xffffffff)
  Max fbarriers/Workgrp:   32
  Packet Processor uCode:: 510
  SDMA engine uCode::      19
  IOMMU Support::          None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    25149440(0x17fc000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 2
      Segment:                 GLOBAL; FLAGS:
      Size:                    25149440(0x17fc000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 3
      Segment:                 GROUP
      Size:                    64(0x40) KB
      Allocatable:             FALSE
      Alloc Granule:           0KB
      Alloc Alignment:         0KB
      Accessible by all:       FALSE
  ISA Info:
    ISA 1
      Name:                    amdgcn-amd-amdhsa--gfx1100
      Machine Models:          HSA_MACHINE_MODEL_LARGE
      Profiles:                HSA_PROFILE_BASE
      Default Rounding Mode:   NEAR
      Default Rounding Mode:   NEAR
      Fast f16:                TRUE
      Workgroup Max Size:      1024(0x400)
      Workgroup Max Size per Dimension:
        x                        1024(0x400)
        y                        1024(0x400)
        z                        1024(0x400)
      Grid Max Size:           4294967295(0xffffffff)
      Grid Max Size per Dimension:
        x                        4294967295(0xffffffff)
        y                        4294967295(0xffffffff)
        z                        4294967295(0xffffffff)
      FBarrier Max Size:       32
*******
Agent 3
*******
  Name:                    gfx1036
  Uuid:                    GPU-XX
  Marketing Name:          AMD Radeon Graphics
  Vendor Name:             AMD
  Feature:                 KERNEL_DISPATCH
  Profile:                 BASE_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        128(0x80)
  Queue Min Size:          64(0x40)
  Queue Max Size:          131072(0x20000)
  Queue Type:              MULTI
  Node:                    2
  Device Type:             GPU
  Cache Info:
    L1:                      16(0x10) KB
    L2:                      256(0x100) KB
  Chip ID:                 5710(0x164e)
  ASIC Revision:           1(0x1)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   2200
  BDFID:                   28160
  Internal Node ID:        2
  Compute Unit:            2
  SIMDs per CU:            2
  Shader Engines:          1
  Shader Arrs. per Eng.:   1
  WatchPts on Addr. Ranges:4
  Features:                KERNEL_DISPATCH
  Fast F16 Operation:      TRUE
  Wavefront Size:          32(0x20)
  Workgroup Max Size:      1024(0x400)
  Workgroup Max Size per Dimension:
    x                        1024(0x400)
    y                        1024(0x400)
    z                        1024(0x400)
  Max Waves Per CU:        32(0x20)
  Max Work-item Per CU:    1024(0x400)
  Grid Max Size:           4294967295(0xffffffff)
  Grid Max Size per Dimension:
    x                        4294967295(0xffffffff)
    y                        4294967295(0xffffffff)
    z                        4294967295(0xffffffff)
  Max fbarriers/Workgrp:   32
  Packet Processor uCode:: 18
  SDMA engine uCode::      1
  IOMMU Support::          None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    524288(0x80000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 2
      Segment:                 GLOBAL; FLAGS:
      Size:                    524288(0x80000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 3
      Segment:                 GROUP
      Size:                    64(0x40) KB
      Allocatable:             FALSE
      Alloc Granule:           0KB
      Alloc Alignment:         0KB
      Accessible by all:       FALSE
  ISA Info:
    ISA 1
      Name:                    amdgcn-amd-amdhsa--gfx1036
      Machine Models:          HSA_MACHINE_MODEL_LARGE
      Profiles:                HSA_PROFILE_BASE
      Default Rounding Mode:   NEAR
      Default Rounding Mode:   NEAR
      Fast f16:                TRUE
      Workgroup Max Size:      1024(0x400)
      Workgroup Max Size per Dimension:
        x                        1024(0x400)
        y                        1024(0x400)
        z                        1024(0x400)
      Grid Max Size:           4294967295(0xffffffff)
      Grid Max Size per Dimension:
        x                        4294967295(0xffffffff)
        y                        4294967295(0xffffffff)
        z                        4294967295(0xffffffff)
      FBarrier Max Size:       32
*** Done ***

MI210

$ rocminfo
ROCk module is loaded
=====================
HSA System Attributes
=====================
Runtime Version:         1.1
System Timestamp Freq.:  1000.000000MHz
Sig. Max Wait Duration:  18446744073709551615 (0xFFFFFFFFFFFFFFFF) (timestamp count)
Machine Model:           LARGE
System Endianness:       LITTLE
Mwaitx:                  DISABLED
DMAbuf Support:          NO

==========
HSA Agents
==========
*******
Agent 1
*******
  Name:                    AMD Ryzen 9 7900X 12-Core Processor
  Uuid:                    CPU-XX
  Marketing Name:          AMD Ryzen 9 7900X 12-Core Processor
  Vendor Name:             CPU
  Feature:                 None specified
  Profile:                 FULL_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        0(0x0)
  Queue Min Size:          0(0x0)
  Queue Max Size:          0(0x0)
  Queue Type:              MULTI
  Node:                    0
  Device Type:             CPU
  Cache Info:
    L1:                      32768(0x8000) KB
  Chip ID:                 0(0x0)
  ASIC Revision:           0(0x0)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   4700
  BDFID:                   0
  Internal Node ID:        0
  Compute Unit:            24
  SIMDs per CU:            0
  Shader Engines:          0
  Shader Arrs. per Eng.:   0
  WatchPts on Addr. Ranges:1
  Features:                None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: FINE GRAINED
      Size:                    64940468(0x3dee9b4) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
    Pool 2
      Segment:                 GLOBAL; FLAGS: KERNARG, FINE GRAINED
      Size:                    64940468(0x3dee9b4) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
    Pool 3
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    64940468(0x3dee9b4) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       TRUE
  ISA Info:
*******
Agent 2
*******
  Name:                    gfx90a
  Uuid:                    GPU-dae6c0bb452b1070
  Marketing Name:          AMD Instinct MI210
  Vendor Name:             AMD
  Feature:                 KERNEL_DISPATCH
  Profile:                 BASE_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        128(0x80)
  Queue Min Size:          64(0x40)
  Queue Max Size:          131072(0x20000)
  Queue Type:              MULTI
  Node:                    1
  Device Type:             GPU
  Cache Info:
    L1:                      16(0x10) KB
    L2:                      8192(0x2000) KB
  Chip ID:                 29711(0x740f)
  ASIC Revision:           1(0x1)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   1700
  BDFID:                   768
  Internal Node ID:        1
  Compute Unit:            104
  SIMDs per CU:            4
  Shader Engines:          8
  Shader Arrs. per Eng.:   1
  WatchPts on Addr. Ranges:4
  Features:                KERNEL_DISPATCH
  Fast F16 Operation:      TRUE
  Wavefront Size:          64(0x40)
  Workgroup Max Size:      1024(0x400)
  Workgroup Max Size per Dimension:
    x                        1024(0x400)
    y                        1024(0x400)
    z                        1024(0x400)
  Max Waves Per CU:        32(0x20)
  Max Work-item Per CU:    2048(0x800)
  Grid Max Size:           4294967295(0xffffffff)
  Grid Max Size per Dimension:
    x                        4294967295(0xffffffff)
    y                        4294967295(0xffffffff)
    z                        4294967295(0xffffffff)
  Max fbarriers/Workgrp:   32
  Packet Processor uCode:: 55
  SDMA engine uCode::      8
  IOMMU Support::          None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    67092480(0x3ffc000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 2
      Segment:                 GLOBAL; FLAGS:
      Size:                    67092480(0x3ffc000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 3
      Segment:                 GROUP
      Size:                    64(0x40) KB
      Allocatable:             FALSE
      Alloc Granule:           0KB
      Alloc Alignment:         0KB
      Accessible by all:       FALSE
  ISA Info:
    ISA 1
      Name:                    amdgcn-amd-amdhsa--gfx90a:sramecc+:xnack-
      Machine Models:          HSA_MACHINE_MODEL_LARGE
      Profiles:                HSA_PROFILE_BASE
      Default Rounding Mode:   NEAR
      Default Rounding Mode:   NEAR
      Fast f16:                TRUE
      Workgroup Max Size:      1024(0x400)
      Workgroup Max Size per Dimension:
        x                        1024(0x400)
        y                        1024(0x400)
        z                        1024(0x400)
      Grid Max Size:           4294967295(0xffffffff)
      Grid Max Size per Dimension:
        x                        4294967295(0xffffffff)
        y                        4294967295(0xffffffff)
        z                        4294967295(0xffffffff)
      FBarrier Max Size:       32
*******
Agent 3
*******
  Name:                    gfx1036
  Uuid:                    GPU-XX
  Marketing Name:          AMD Radeon Graphics
  Vendor Name:             AMD
  Feature:                 KERNEL_DISPATCH
  Profile:                 BASE_PROFILE
  Float Round Mode:        NEAR
  Max Queue Number:        128(0x80)
  Queue Min Size:          64(0x40)
  Queue Max Size:          131072(0x20000)
  Queue Type:              MULTI
  Node:                    2
  Device Type:             GPU
  Cache Info:
    L1:                      16(0x10) KB
    L2:                      256(0x100) KB
  Chip ID:                 5710(0x164e)
  ASIC Revision:           1(0x1)
  Cacheline Size:          64(0x40)
  Max Clock Freq. (MHz):   2200
  BDFID:                   27904
  Internal Node ID:        2
  Compute Unit:            2
  SIMDs per CU:            2
  Shader Engines:          1
  Shader Arrs. per Eng.:   1
  WatchPts on Addr. Ranges:4
  Features:                KERNEL_DISPATCH
  Fast F16 Operation:      TRUE
  Wavefront Size:          32(0x20)
  Workgroup Max Size:      1024(0x400)
  Workgroup Max Size per Dimension:
    x                        1024(0x400)
    y                        1024(0x400)
    z                        1024(0x400)
  Max Waves Per CU:        32(0x20)
  Max Work-item Per CU:    1024(0x400)
  Grid Max Size:           4294967295(0xffffffff)
  Grid Max Size per Dimension:
    x                        4294967295(0xffffffff)
    y                        4294967295(0xffffffff)
    z                        4294967295(0xffffffff)
  Max fbarriers/Workgrp:   32
  Packet Processor uCode:: 18
  SDMA engine uCode::      1
  IOMMU Support::          None
  Pool Info:
    Pool 1
      Segment:                 GLOBAL; FLAGS: COARSE GRAINED
      Size:                    524288(0x80000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 2
      Segment:                 GLOBAL; FLAGS:
      Size:                    524288(0x80000) KB
      Allocatable:             TRUE
      Alloc Granule:           4KB
      Alloc Alignment:         4KB
      Accessible by all:       FALSE
    Pool 3
      Segment:                 GROUP
      Size:                    64(0x40) KB
      Allocatable:             FALSE
      Alloc Granule:           0KB
      Alloc Alignment:         0KB
      Accessible by all:       FALSE
  ISA Info:
    ISA 1
      Name:                    amdgcn-amd-amdhsa--gfx1036
      Machine Models:          HSA_MACHINE_MODEL_LARGE
      Profiles:                HSA_PROFILE_BASE
      Default Rounding Mode:   NEAR
      Default Rounding Mode:   NEAR
      Fast f16:                TRUE
      Workgroup Max Size:      1024(0x400)
      Workgroup Max Size per Dimension:
        x                        1024(0x400)
        y                        1024(0x400)
        z                        1024(0x400)
      Grid Max Size:           4294967295(0xffffffff)
      Grid Max Size per Dimension:
        x                        4294967295(0xffffffff)
        y                        4294967295(0xffffffff)
        z                        4294967295(0xffffffff)
      FBarrier Max Size:       32
*** Done ***

PyTorch 2.1.2

Python仮想環境（venv）をセットアップする。

$ sudo apt install -y python3 python3-venv python-is-python3
$ python -m venv venv
$ source ./venv/bin/activate

PyTorch 2.1.2（ROCm 5.6）をインストールする。ROCm 5.7はNightly版のPyTorchでサポートされているようだが完全に一致させなくても問題なかった。Stable版のPyTorchを利用する。

$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

PyTorchからGPUを利用できることを確認する。テスト用のスクリプトが配布されているのでありがたく利用させていただく。

$ wget https://gist.github.com/damico/484f7b0a148a0c5f707054cf9c0a0533/raw/43c317bfbde626d9112d44462d815613194988e0/test-rocm.py

RX7900 XTXの場合。

$ python test-rocm.py
Checking ROCM support...
GOOD: ROCM devices found:  3
Checking PyTorch...
GOOD: PyTorch is working fine.
Checking user groups...
GOOD: The user jun is in RENDER and VIDEO groups.
GOOD: PyTorch ROCM support found.
Testing PyTorch ROCM support...
Everything fine! You can run PyTorch code inside of:
--->  AMD Ryzen 9 7950X 16-Core Processor
--->  gfx1100
--->  gfx1036

ROCm実行環境としてCPU（Ryzen 9 7950X）、RX7900 XTX（gfx1100）、CPU内蔵GPU（gfx1036）がリストアップされた。

MI210の場合。

$ python test-rocm.py
Checking ROCM support...
GOOD: ROCM devices found:  3
Checking PyTorch...
GOOD: PyTorch is working fine.
Checking user groups...
GOOD: The user x is in RENDER and VIDEO groups.
GOOD: PyTorch ROCM support found.
Testing PyTorch ROCM support...
Everything fine! You can run PyTorch code inside of:
--->  AMD Ryzen 9 7900X 12-Core Processor
--->  gfx90a
--->  gfx1036

ROCm実行環境としてCPU（Ryzen 9 7900X）、MI210（gfx90a）、CPU内蔵GPU（gfx1036）がリストアップされた。

Stable Diffusion

stable-diffusion-webui 1.7.0

AUTOMATIC1111/stable-diffusion-webuiをインストールしてお絵描きAIを動かしてみる。バージョンは1.7.0を使用した。

$ sudo apt install -y git
$ git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
$ cd stable-diffusion-webui
$ git checkout v1.7.0

TCMallocをインストールする。これを使用することでメモリリークを防ぐことができるらしい？

$ sudo apt install -y libtcmalloc-minimal4

webui.shを実行する。こちらを参考にしてAMD GPU向けに--upcast-samplingを引数で与えている（あってもなくても結果は変わらないようだった）。--listenを与えることでマシンの外からもWeb UIにアクセスできるようになる。--no-gradio-queueはプロキシが設定された環境で実行するために必要だった。

$ ./webui.sh --upcast-sampling --listen --no-gradio-queue

webui.shを初めて実行すると自動で必要なソフトウェアやモデルがダウンロードされる。CPU内蔵GPUがある場合、次のように落ちてしまうことがある。

$ ./webui.sh: line 256:  3827 Segmentation fault      (core dumped) "${python_cmd}" -u "${LAUNCH_SCRIPT}" "$@"

次のようにしてWeb UIが使用するGPUを限定するとうまく実行できた。

$ CUDA_VISIBLE_DEVICES=0 ./webui.sh --upcast-sampling --listen --no-gradio-queue

http://localhost:7860をブラウザで開くと次のような画面が表示される。

Promptと書いてあるテキストボックスにdogと入れてGenerateボタンを押すとAIが描いた犬の写真が出力された。MI210の場合、お絵描きにかかった時間は1.4秒だった。

画像サイズを変更したときの実行時間の変化は次のようになった（複数回実行し最も短かった時間を記録した）。

Resolution	RX7900 XTX	MI210
512x512	1.3	1.4
512x768	2.2	2.3
512x1024	2.9	3.6
1024x512	2.9	3.6
1024x1024	8.6	10.6
2048x2048	2m 27.9	4m 5.2

ここまでできれば後の使い方はNvidia GPUと同じのためウェブを参考にして新しいモデルを入れたり、拡張をインストールしたりできる。AMD GPUでも生成AIでお絵描きできることが分かった。

ハローアスカベンチマーク

こちらのサイトに様々なGPUでのStable Diffusionによる生成速度を測定した結果が掲載されていて参考になる。

使用するモデルと設定を合わせることで似たような（よく見ると少し違う）画像を手元でも再現できるようになる。このときの生成速度を確認することで他のGPUとの性能の比較ができる。

ROCm 5.7.1とPyTorch 2.1.2の組み合わせでは次の生成速度が得られた。RTX 4070からRTX 4070 Tiの間くらいの性能が出ていることが分かった。

Metrics	RX7900 XTX	MI210
Time [s]	17.5	20.1

LLM

text-generation-webui

oobabooga/text-generation-webuiをインストールして大規模言語モデルを動かしてみる。

$ sudo apt install -y git curl
$ git clone https://github.com/oobabooga/text-generation-webui.git
$ cd text-generation-webui

バージョンを固定したかったがうまくいかなかったのでmainブランチのまま進める（特定のバージョンにチェックアウトすると初期セットアップが正常に完了しなかった）。次のコマンドを実行する。

$ CUDA_VISIBLE_DEVICES=0 ./start_linux.sh --listen

途中でGPUを聞かれるのでBを入力する。

What is your GPU?

A) NVIDIA
B) AMD (Linux/MacOS only. Requires ROCm SDK 5.6 on Linux)
C) Apple M Series
D) Intel Arc (IPEX)
N) None (I want to run models in CPU mode)

Input> B

Conda環境内にPyTorchを含む様々なパッケージがインストールされる。

http://localhost:7860をブラウザで開くと次のように表示される。

日本語LLMであるELYZAを動かしてみる。

Modelタブを選択する。Download model or LoRAにelyza/ELYZA-japanese-Llama-2-7b-fast-instructを入力、Downloadボタンを押す。

ダウンロードが完了したら🔃ボタンを押す。ダウンロードしたモデルを選択してLoadボタンを押す。

モデルのロードが完了するまで待つ。この間にrocm-smiコマンドを叩くとモデルがGPUに読み込まれVRAM使用率が上昇していく様子が見られる。80秒ほどかかった。

モデルのロードが完了後、特に設定は変更しなくてもChatタブで話しかけると答えてくれる。

最初の数回の受け答えはゆっくりだったが途中から突然生成速度が速くなった。上記の応答の生成速度は39.68 tokens/sで人間が文章を読むスピードよりも十分高速だった。

Chatタブの下の方にあるCharacter galleryからチャットの相手を変更することができる。Exampleを選択すると、Chiharu Yamadaというキャラクターがチャット相手になる。

Chat styleをmessengerに変更するとチャット画面の表示が変わる。

LXD

AMD GPUをコンテナ環境から利用する方法を確認する。（root権限で実行する）Dockerでは特に問題なかったが、LXDでは正常に動作させるのに手間取った。

LXDをインストールし、Ubuntu 22.04のコンテナを作成する。lxd initはすべてデフォルトで設定した。

$ sudo snap install lxd
$ lxd init
$ lxc init ubuntu:22.04 test

AMD GPUにアクセスできるようにするためにデバイスをコンテナに追加する。

$ lxc config device add test kfd disk source=/dev/kfd path=/dev/kfd
$ lxc config device add test dri disk source=/dev/dri path=/dev/dri

コンテナ内のrender, videoグループのIDをホストと一致させる。

$ echo -e "gid 110 110\ngid 44 44" | lxc config set test raw.idmap -

コンテナを起動し、bashを実行する。

$ lxc start test
$ lxc exec test bash

これ以降はコンテナ内での作業となる。

ubuntuユーザーがAMD GPUを利用できるようにrender,videoグループに追加する。

# usermod -a -G render,video ubuntu

ホストと同様にコンテナ内にROCmをインストールする。

# wget https://repo.radeon.com/amdgpu-install/5.7.1/ubuntu/jammy/amdgpu-install_5.7.50701-1_all.deb
# apt install ./amdgpu-install_5.7.50701-1_all.deb -y
# amdgpu-install --usecase=rocm --rocmrelease=5.7.1 --no-dkms

venvも入れておく。

# apt install -y python3 python3-venv python-is-python3

ubuntuユーザーに切り替え、romcinfoが正常に結果を返すことを確認する。

# su ubuntu
$ rocminfo

PyTorchをインストールし動作を確認する。

$ python -m venv venv
$ source ./venv/bin/activate
$ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6
$ wget https://gist.github.com/damico/484f7b0a148a0c5f707054cf9c0a0533/raw/43c317bfbde626d9112d44462d815613194988e0/test-rocm.py

正常に動作するようにスクリプトを修正し、実行する。

$ sed -i 's/os.getlogin/getpass.getuser/' ./test-rocm.py
$ sed -i 's/os/getpass/' ./test-rocm.py
$ python ./test-rocm.py

Rootless Docker

Rootless Docker環境でAMD GPUを使用するには、コンテナ内のユーザーがvideoおよびrenderグループに所属し、かつコンテナ内のvideoおよびrenderグループがホストのこれらのグループと対応している必要がある。

試した環境ではホストの/dev/kfd/および/dev/dri/renderD*の所有グループはrenderであった。また、ホストのrenderグループのIDは110、コンテナのrenderグループのIDは109となっていた。ここでコンテナのrenderグループがホストのrenderグループと対応するようにマッピングを行う。グループIDのマッピングを制御するために/etc/subgidを編集する。

Rootless Dockerをセットアップした時点で/etc/subgidを次のように設定していたとする。

user:100000:65536

コンテナ内のグループIDをホストの100000番から順に割り当てる設定となっている。

コンテナ内のグループID 109番をホストの110番に割り振り、その他はホストに存在しない大きな番号にしたい場合、次のように記述すればよい。

user:100000:108
user:110:1
user:110000:65536

設定を反映するにはDockerを再起動する必要がある（systemctl --user restart docker.service）。こうすると、コンテナ内の1~108の108個のグループIDはホストの100000~100107に割り当てられ、109が110に、110以降は110000以降に割り当てられ、意図通りになる。

上記の設定を行うことでRootless Docker環境でAMD GPUを使用することができた。

ROCm 6.0を試す

5.7.1から6.0へアップデートしPyTorchが正常に動作するか試す。まずは古いROCmをアンインストールする。

$ amdgpu-uninstall --rocmrelease=all

公式のドキュメントに従いインストールしてみる。

Quick-start install guide — ROCm installation (Linux)

$ wget https://repo.radeon.com/amdgpu-install/6.0/ubuntu/jammy/amdgpu-install_6.0.60000-1_all.deb
$ sudo apt install ./amdgpu-install_6.0.60000-1_all.deb
$ sudo amdgpu-install --usecase=rocm

正常にインストールできた。rocm-smiの表示が新しくなっている。

PyTorch 2.1.2（ROCm 5.6）の環境でStable Diffusionを試したが特に問題なく動作した。ハローアスカベンチマークを実行したがRX7900 XTX、MI210ともにROCmをアップデートしたことによる性能の改善は見られなかった。

LLMについても同様に問題なく動作した。性能も同等のように思われる。

PyTorch 2.3（Nightly）を試す

venv仮想環境を新しく作り、Nightly版のPyTorchをインストールする。Stable版がROCm 5.6に対応しているのに対し、Nightly版はROCm 5.7に対応している。

$ pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.7

そのままではstable-diffusion-webuiの実行時にエラーが出てしまうので次のようにしてライブラリのコードを修正する。

$ sed -i 's/from torchvision.transforms.functional_tensor import rgb_to_grayscale/from torchvision.transforms.functional import rgb_to_grayscale/' $VIRTUAL_ENV/lib/python3.10/site-packages/basicsr/data/degradations.py

ハローアスカベンチマークを実行したところRX7900 XTXでの生成時間がわずかに短縮した。

ROCm	PyTorch	Time [s]
5.7.1	2.1.2	17.5
6.0	2.3	17.2

はじめに

検証環境

RX7900 XTX

MI210

使用したPC

PyTorch環境のセットアップ

Ubuntu 22.04

GPU

ROCm 5.7.1

PyTorch 2.1.2

Stable Diffusion

stable-diffusion-webui 1.7.0

ハローアスカベンチマーク

LLM

text-generation-webui

LXD

Rootless Docker

ROCm 6.0を試す

PyTorch 2.3（Nightly）を試す

Discussion