⚒️

NVIDIA DGX SparkでUnslothの学習環境を構築する

に公開

個人でも入手可能な価格かつ、省スペースでパラメータの多いモデルを動かすことができるNVIDIA DGX Sparkを実際に触れたことで、ハード面の進化を実感しました。
DGX Spark環境でUnslothを使うために試行錯誤して実行環境を製作しました。

前提

公式のドキュメント(Start Building on DGX Spark)を参考にしてUbuntu 24.04にDocker環境が構築されているものとします。
さらに、今後の拡張性のためにDocker Composeを用いて環境を作成しました。

Dockerの環境ファイルと学習・推論コード

Dockerfile

Dockerfile
FROM nvcr.io/nvidia/pytorch:25.09-py3

# Set CUDA environment variables
ENV CUDA_HOME=/usr/local/cuda
ENV CUDA_PATH=$CUDA_HOME
ENV PATH=$CUDA_HOME/bin:$PATH
ENV LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
ENV C_INCLUDE_PATH=$CUDA_HOME/include:$C_INCLUDE_PATH
ENV CPLUS_INCLUDE_PATH=$CUDA_HOME/include:$CPLUS_INCLUDE_PATH

# Install triton from source for latest blackwell support
RUN git clone https://github.com/triton-lang/triton.git && \
    cd triton && \
    git checkout c5d671f91d90f40900027382f98b17a3e04045f6 && \
    pip install -r python/requirements.txt && \
    pip install . && \
    cd ..

# Install xformers from source for blackwell support
RUN git clone --depth=1 https://github.com/facebookresearch/xformers --recursive && \
    cd xformers && \
    git fetch origin v0.0.33:v0.0.33 && \
    git checkout v0.0.33 && \
    export TORCH_CUDA_ARCH_LIST="12.1" && \
    python setup.py install && \
    cd ..

# Install unsloth and other dependencies
RUN pip install --no-deps unsloth==2025.12.6 unsloth_zoo==2025.12.5
RUN pip install --no-deps bitsandbytes==0.48.0 transformers==4.56.2 trl==0.22.2

# Launch the shell
CMD ["/bin/bash"]

docker-compose.yml

docker-compose.yml
services:
  my_container:
    build: ./
    container_name: my-dgx-unsloth_container
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    environment:
      - UCX_NET_DEVICES=enp1s0f1np1
      - NCCL_SOCKET_IFNAME=enp1s0f1np1
      - NCCL_DEBUG=INFO
      - TORCH_NCCL_ASYNC_ERROR_HANDLING=1
      - TORCH_DISTRIBUTED_DEBUG=DETAIL
      - GLOO_SOCKET_IFNAME=enp1s0f1np1
      - CUDA_DEVICE_MAX_CONNECTIONS=1
      - CUDA_VISIBLE_DEVICES=0
    volumes:
      - ./src:/workspace/src
    working_dir: /workspace
    tty: true
    stdin_open: true

Unslothサンプルコード

src/gpt-oss_unsloth.py
from unsloth import FastLanguageModel
import torch

import gc
import time

max_seq_length = 4096
dtype = None

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gpt-oss-20b", #"unsloth/gpt-oss-20b-unsloth-bnb-4bit"
    dtype = dtype, # None for auto detection
    max_seq_length = max_seq_length
    load_in_4bit = False,  # 4 bit quantization to reduce memory
    full_finetuning = False,
    # token = "hf_...", # use one if using gated models
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 8, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128
    target_modules = [
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj"
    ],
    lora_alpha = 16,
    lora_dropout = 0, # Supports any, but = 0 is optimized
    bias = "none",    # Supports any, but = "none" is optimized
    use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context
    random_state = 3407,
    use_rslora = False,  # We support rank stabilized LoRA
    loftq_config = None, # And LoftQ
)

def formatting_prompts_func(examples):
    convos = examples["messages"]
    texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
    return { "text" : texts, }

from datasets import load_dataset

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")

from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)

# 学習の実行
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        num_train_epochs = 1, # Set this for 1 full training run.
        save_strategy = "epoch",
        # max_steps = 30,
        learning_rate = 2e-4,
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.001,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
        report_to = "tensorboard",
        logging_dir = "logs",
    ),
)

trainer_stats = trainer.train()

model.save_pretrained("gpt-oss-lora")
tokenizer.save_pretrained("gpt-oss-lora")

# メモリ解放
del model, tokenizer
gc.collect()
torch.cuda.empty_cache()
time.sleep(60)

# 推論
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "gpt-oss-lora", # save_pretrainedで指定した名称
    max_seq_length = 1024,
    dtype = None,
    load_in_4bit = False,
)

messages = [
    {"role": "system", "content": "reasoning language: French\n\nYou are a helpful assistant that can solve mathematical problems."},
    {"role": "user", "content": "Solve x^5 + 3x^4 - 10 = 3."},
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt = True,
    return_tensors = "pt",
    return_dict = True,
    reasoning_effort = "high",
).to("cuda")
from transformers import TextStreamer
_ = model.generate(**inputs, max_new_tokens = 64, streamer = TextStreamer(tokenizer))

実行コマンド

イメージのビルド、起動

$ docker-compose -f docker-compose.yml up -d –-build

コンソールに接続

$ docker exec -it my-dgx-unsloth_container bash -c "bash -i"

コンテナ内でプログラムの実行

$ python src/gpt-oss_unsloth.py

docker-compose.ymlでハマったポイント

Unsloth公式がやってみた記事とDockerfileをアップしてくれていたので、これと過去使っていたdocker-compose.ymlを組み合わせて立ち上げてみたところ、プログラム自体は動いているのですがVRAMが全く使われていませんでした。
以下2点を修正したところVRAMが使われるようになりました。

環境変数の指定

NVIDIA公式のplaybookより、以下の環境変数を指定しました。

    environment:
      - UCX_NET_DEVICES=enp1s0f1np1
      - NCCL_SOCKET_IFNAME=enp1s0f1np1
      - NCCL_DEBUG=INFO
      - TORCH_NCCL_ASYNC_ERROR_HANDLING=1
      - TORCH_DISTRIBUTED_DEBUG=DETAIL
      - GLOO_SOCKET_IFNAME=enp1s0f1np1
      - CUDA_DEVICE_MAX_CONNECTIONS=1
      - CUDA_VISIBLE_DEVICES=0

runtimeコレクションの削除

以下でGPUを指定している場合は削除してください。

    runtime: nvidia

動作する指定方法は以下です。

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

NVIDIA 佐々木氏のポストより、コンテナ起動時に--runtime=nvidiaを指定するとエラーになるとのことで、これが原因だと思われます。

まとめ

DGX Spark環境に限った話ではありませんが、Unslothは実行環境によってライブラリバージョンの細かい指定や環境変数の設定などが必要になってきます。バージョンを更新したり新しいライブラリをインストールした際の動作確認はモデルの保存まで実施することが不可欠です。
詰まった際も根気よくデバッグしていきましょう!

株式会社メンバーズ AIフォーオールカンパニー

Discussion