🦙

EVO-X2 開発環境構築 Ollama Llama 3.3 編

に公開
Tailscale
Ollama
Llama 3
evox2
strixhalo
tech

これは何？

ローカル LLM (Llama 3.3) をインストールして、iPhone とかで接続するまでの設定です。

環境

  1. Windows 11 Pro 25H2
    • EVO-X2 (Strix Halo)
  2. iPad/iPhone
    • iPad Pro (M5)
    • iPhone 15 Pro Max

BIOS 設定

  1. 起動時に del キー押下で BIOS 設定
  2. iGPU Configuration
    • とりあえず、64GB に設定
  3. Drivers and Support で最新版のドライバをダウンロードしてインストールして再起動
    • Chipset Drivers のみインストール (AMD Chat/AMD Privacy View はインストールしない)
  4. NPU インストール （AMD アカウントが必要）
    Install NPU Drivers で最新版のドライバをダウンロードしてインストールして再起動

Ollama のインストール

  1. Ollama インストール
    Download Ollama からダウンロードしてインストール
  2. Llama 3.3 のダウンロードと実行 (llama3.3:70b)
    ollama run llama3.3
    まあまあ時間がかかる
  3. 動作確認
    • タスクマネージャーで GPU のグラフが動いているか確認

Tailscale のインストール

  1. Windows
    • Tailscale からダウンロードしてインストール
  2. iPhone/iPad

Enchanted developer only のインストール

  1. iPhone/iPad
  2. Windows 環境の Tailscale の IP を設定する

おわり

とりあえず、携帯からローカル LLM に接続できました。
EVO-X2 では、llama3.3:70b では微妙な遅さですね。

Discussion