⚒️
NVIDIA DGX SparkでUnslothの学習環境を構築する
個人でも入手可能な価格かつ、省スペースでパラメータの多いモデルを動かすことができるNVIDIA DGX Sparkを実際に触れたことで、ハード面の進化を実感しました。
DGX Spark環境でUnslothを使うために試行錯誤して実行環境を製作しました。
前提
公式のドキュメント(Start Building on DGX Spark)を参考にしてUbuntu 24.04にDocker環境が構築されているものとします。
さらに、今後の拡張性のためにDocker Composeを用いて環境を作成しました。
Dockerの環境ファイルと学習・推論コード
Dockerfile
Dockerfile
FROM nvcr.io/nvidia/pytorch:25.09-py3
# Set CUDA environment variables
ENV CUDA_HOME=/usr/local/cuda
ENV CUDA_PATH=$CUDA_HOME
ENV PATH=$CUDA_HOME/bin:$PATH
ENV LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
ENV C_INCLUDE_PATH=$CUDA_HOME/include:$C_INCLUDE_PATH
ENV CPLUS_INCLUDE_PATH=$CUDA_HOME/include:$CPLUS_INCLUDE_PATH
# Install triton from source for latest blackwell support
RUN git clone https://github.com/triton-lang/triton.git && \
cd triton && \
git checkout c5d671f91d90f40900027382f98b17a3e04045f6 && \
pip install -r python/requirements.txt && \
pip install . && \
cd ..
# Install xformers from source for blackwell support
RUN git clone --depth=1 https://github.com/facebookresearch/xformers --recursive && \
cd xformers && \
git fetch origin v0.0.33:v0.0.33 && \
git checkout v0.0.33 && \
export TORCH_CUDA_ARCH_LIST="12.1" && \
python setup.py install && \
cd ..
# Install unsloth and other dependencies
RUN pip install --no-deps unsloth==2025.12.6 unsloth_zoo==2025.12.5
RUN pip install --no-deps bitsandbytes==0.48.0 transformers==4.56.2 trl==0.22.2
# Launch the shell
CMD ["/bin/bash"]
docker-compose.yml
docker-compose.yml
services:
my_container:
build: ./
container_name: my-dgx-unsloth_container
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
environment:
- UCX_NET_DEVICES=enp1s0f1np1
- NCCL_SOCKET_IFNAME=enp1s0f1np1
- NCCL_DEBUG=INFO
- TORCH_NCCL_ASYNC_ERROR_HANDLING=1
- TORCH_DISTRIBUTED_DEBUG=DETAIL
- GLOO_SOCKET_IFNAME=enp1s0f1np1
- CUDA_DEVICE_MAX_CONNECTIONS=1
- CUDA_VISIBLE_DEVICES=0
volumes:
- ./src:/workspace/src
working_dir: /workspace
tty: true
stdin_open: true
Unslothサンプルコード
src/gpt-oss_unsloth.py
from unsloth import FastLanguageModel
import torch
import gc
import time
max_seq_length = 4096
dtype = None
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/gpt-oss-20b", #"unsloth/gpt-oss-20b-unsloth-bnb-4bit"
dtype = dtype, # None for auto detection
max_seq_length = max_seq_length
load_in_4bit = False, # 4 bit quantization to reduce memory
full_finetuning = False,
# token = "hf_...", # use one if using gated models
)
model = FastLanguageModel.get_peft_model(
model,
r = 8, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128
target_modules = [
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj"
],
lora_alpha = 16,
lora_dropout = 0, # Supports any, but = 0 is optimized
bias = "none", # Supports any, but = "none" is optimized
use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long context
random_state = 3407,
use_rslora = False, # We support rank stabilized LoRA
loftq_config = None, # And LoftQ
)
def formatting_prompts_func(examples):
convos = examples["messages"]
texts = [tokenizer.apply_chat_template(convo, tokenize = False, add_generation_prompt = False) for convo in convos]
return { "text" : texts, }
from datasets import load_dataset
dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
from unsloth.chat_templates import standardize_sharegpt
dataset = standardize_sharegpt(dataset)
dataset = dataset.map(formatting_prompts_func, batched = True,)
# 学習の実行
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model = model,
tokenizer = tokenizer,
train_dataset = dataset,
args = SFTConfig(
per_device_train_batch_size = 1,
gradient_accumulation_steps = 4,
warmup_steps = 5,
num_train_epochs = 1, # Set this for 1 full training run.
save_strategy = "epoch",
# max_steps = 30,
learning_rate = 2e-4,
logging_steps = 1,
optim = "adamw_8bit",
weight_decay = 0.001,
lr_scheduler_type = "linear",
seed = 3407,
output_dir = "outputs",
report_to = "tensorboard",
logging_dir = "logs",
),
)
trainer_stats = trainer.train()
model.save_pretrained("gpt-oss-lora")
tokenizer.save_pretrained("gpt-oss-lora")
# メモリ解放
del model, tokenizer
gc.collect()
torch.cuda.empty_cache()
time.sleep(60)
# 推論
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "gpt-oss-lora", # save_pretrainedで指定した名称
max_seq_length = 1024,
dtype = None,
load_in_4bit = False,
)
messages = [
{"role": "system", "content": "reasoning language: French\n\nYou are a helpful assistant that can solve mathematical problems."},
{"role": "user", "content": "Solve x^5 + 3x^4 - 10 = 3."},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt = True,
return_tensors = "pt",
return_dict = True,
reasoning_effort = "high",
).to("cuda")
from transformers import TextStreamer
_ = model.generate(**inputs, max_new_tokens = 64, streamer = TextStreamer(tokenizer))
実行コマンド
イメージのビルド、起動
$ docker-compose -f docker-compose.yml up -d –-build
コンソールに接続
$ docker exec -it my-dgx-unsloth_container bash -c "bash -i"
コンテナ内でプログラムの実行
$ python src/gpt-oss_unsloth.py
docker-compose.ymlでハマったポイント
Unsloth公式がやってみた記事とDockerfileをアップしてくれていたので、これと過去使っていたdocker-compose.ymlを組み合わせて立ち上げてみたところ、プログラム自体は動いているのですがVRAMが全く使われていませんでした。
以下2点を修正したところVRAMが使われるようになりました。
環境変数の指定
NVIDIA公式のplaybookより、以下の環境変数を指定しました。
environment:
- UCX_NET_DEVICES=enp1s0f1np1
- NCCL_SOCKET_IFNAME=enp1s0f1np1
- NCCL_DEBUG=INFO
- TORCH_NCCL_ASYNC_ERROR_HANDLING=1
- TORCH_DISTRIBUTED_DEBUG=DETAIL
- GLOO_SOCKET_IFNAME=enp1s0f1np1
- CUDA_DEVICE_MAX_CONNECTIONS=1
- CUDA_VISIBLE_DEVICES=0
runtimeコレクションの削除
以下でGPUを指定している場合は削除してください。
runtime: nvidia
動作する指定方法は以下です。
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
NVIDIA 佐々木氏のポストより、コンテナ起動時に--runtime=nvidiaを指定するとエラーになるとのことで、これが原因だと思われます。
まとめ
DGX Spark環境に限った話ではありませんが、Unslothは実行環境によってライブラリバージョンの細かい指定や環境変数の設定などが必要になってきます。バージョンを更新したり新しいライブラリをインストールした際の動作確認はモデルの保存まで実施することが不可欠です。
詰まった際も根気よくデバッグしていきましょう!
Discussion