GMKtec EVO-X2のセットアップをする

GMKtec EVO-X2
Ryzen AI Max+ 395
128GB LPDDR5
2TB SSD

Windows 11 Pro が標準でインストールされているのでセットアップする

 ローカルアカウントの作成インターネットに接続せずに起動したらローカルアカウント作成になったが、接続しちゃうとMSアカウントが必要になるかも？

 ライセンスやプロダクトキーを確認するライセンス確認
slmgr -dli
問題なさそう
プロダクトキーの取得
ShowKeyPlusを使う


 Windows Update追加のアップデートが無くなるまでインストールする

 ドライバの更新インストール済みのドライバの一覧をメモしておく
何かあってリカバリ等した場合に必要なドライバが分からなくなることがあるため

Get-WmiObject Win32_PnPSignedDriver | Select DeviceName,DriverVersion
AI Max+ 395のドライバの更新
AMD Ryzen™ AI Max+ 395 Drivers & Support


 ECとBIOSの更新公式HPから飛べる BIOS&EC Boot operation guide (Windows system) に書いてある手順の通り
BIOSのダウンロードリンクが見当たらないが、BIOSバージョンが比較的新しい（2025/07/29）ので一旦無視する

 PC名の変更他のPCから接続するために分かりやすい名前に変更しておく

1gy

Linux環境でも動かしたいのでUbuntuをインストールする
せっかくWindows 11 Proが入っているのでこの環境は維持してデュアルブートする

Ubuntuのインストール

トラブルを避けるためにSSDを増設してそちらにインストールする
分解方法は公式がYouTubeに分解動画を上げていたので参考にする
利用するOSは Ubuntu Server 24.04.3

Ubuntuのセットアップ

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install --no-install-recommends git curl p7zip-full build-essential unzip

# install docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
rm get-docker.sh
sudo usermod -aG docker $USER # -> logout / login

LAN内のPCからホスト名で接続できるようにする

基本的には別のマシンからsshで触るため、host名で解決できるようにしたい
mDNSを有効化する

sudo apt install avahi-daemon

ドライバのインストール (2025/09/10)

利用している環境が対応しているかを確認する
- System requirements (Linux)
OSのバージョンは違うが、カーネルのバージョンが合っているので大丈夫そう？

OS	Kernel	Glibc	Support
Ubuntu 24.04.2	6.8 [GA], 6.11 [HWE]	2.39	✅

$ lsb_release -d
No LSB modules are available.
Description:    Ubuntu 24.04.3 LTS

$ uname -r
6.8.0-79-generic

Quick start installation guide を参考にする

# ROCm installation
wget https://repo.radeon.com/amdgpu-install/6.4.3/ubuntu/noble/amdgpu-install_6.4.60403-1_all.deb
sudo apt install ./amdgpu-install_6.4.60403-1_all.deb
sudo apt update
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocm
rm amdgpu-install_6.4.60403-1_all.deb

# AMDGPU driver installation
wget https://repo.radeon.com/amdgpu-install/6.4.3/ubuntu/noble/amdgpu-install_6.4.60403-1_all.deb
sudo apt install ./amdgpu-install_6.4.60403-1_all.deb
sudo apt update
sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"
sudo apt install amdgpu-dkms
rm amdgpu-install_6.4.60403-1_all.deb

sudo roboot

インストールが完了してコマンドが動くことを確認する

amd-smi
rocminfo
clinfo
rocm-smi

1gy

UbuntuでLLMを動かす

 llama.cppllama.cpp
モデルをダウンロードする
https://huggingface.co/ggml-org/gpt-oss-20b-GGUF

Dockerで動作させる
https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md
なぜか server-rocm がデプロイされていないので server-vulkan で動かす

パラメータ
LLaMA.cpp HTTP Server

# ローカルの ~/models/ にモデルを配置する
docker run -v ~/models:/models -p 8000:8000 ghcr.io/ggml-org/llama.cpp:server-vulkan -m /models/gpt-oss-20b-mxfp4.gguf --port 8000 --host 0.0.0.0 -c 0 --jinja
ポート8000番をブラウザで開いてチャットが動くことを確認する
テトリスは作れた



 ollamaまだ

 lm studioまだ

1gy

llama.cpp + Open WebUI で複数モデルを動かす

llama.cppは一つのモデルしか動かせないようなので、モデルの数だけサービスを立ち上げる
Open WebUIからそれぞれのモデルに繋ぐようにすると便利そう
docker composeなら簡単に動かせる
gpt-oss-20bとgpt-oss-120bを動かしてみる

services:
  llama-server-1:
    image: ghcr.io/ggml-org/llama.cpp:server-vulkan
    container_name: llama-server-1
    ports:
      - "8001:8000"
    volumes:
      - ~/models:/models
    command: >
      -m /models/gpt-oss-20b-mxfp4.gguf
      --port 8000
      --host 0.0.0.0
      -c 0
      --jinja
      -ub 2048
      -b 2048
    restart: unless-stopped
    devices:
      - /dev/kfd
      - /dev/dri
    networks:
      - ai-network

  llama-server-2:
    image: ghcr.io/ggml-org/llama.cpp:server-vulkan
    container_name: llama-server-2
    ports:
      - "8002:8000"
    volumes:
      - ~/models:/models
    command: >
      -m /models/gpt-oss-120b-mxfp4-00001-of-00003.gguf
      --port 8000
      --host 0.0.0.0
      -c 0
      --jinja
      -ub 2048
      -b 2048
    restart: unless-stopped
    devices:
      - /dev/kfd
      - /dev/dri
    networks:
      - ai-network

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data
    environment:
      - OPENAI_API_BASE_URL=http://llama-server-1:8000/v1;http://llama-server-2:8000/v1
      - OPENAI_API_KEY=${OPENAI_API_KEY}
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
    depends_on:
      - llama-server-1
      - llama-server-2
    restart: unless-stopped
    networks:
      - ai-network

volumes:
  open-webui-data:

networks:
  ai-network:
    driver: bridge

VRAMに96GB割り当てたら余裕で同時に動いた

$ rocm-smi
======================================== ROCm System Management Interface ========================================
================================================== Concise Info ==================================================
Device  Node  IDs              Temp    Power     Partitions          SCLK  MCLK  Fan  Perf  PwrCap  VRAM%  GPU%
              (DID,     GUID)  (Edge)  (Socket)  (Mem, Compute, ID)
==================================================================================================================
0       1     0x1586,   51834  29.0°C  6.05W     N/A, N/A, 0         N/A   N/A   0%   auto  N/A     83%    0%
==================================================================================================================
============================================== End of ROCm SMI Log ===============================================