Seeed reComputer J4012(Jetson Orin NX 16GB)セットアップ情報まとめ
Seeed reComputer(Jetson Orin NX 16GB)
Seeedの中の人matsujirushiさんと、一緒に作っているものがあり、Seeed reComputer J4012をお借りしました。
中身はJetson Orin NX 16GBです。
久しぶりのJetsonです。以前Jetson Nanoに関しては、書籍を書いたり、ネットの記事に情報まとめたりしていたのですが、色々変わっていたのでJetson Orin NXを中心にまとめなおしてみます。
分かり次第、随時追記していきます。
基本的なセットアップ
基本的なセットアップです。Jetson Nanoと大体一緒だったので楽でした。
JetPackのセットアップ
今回はセットアップ済みのものを貸与いただいたので省略します。自分でやったら追記します。
Chromiumインストール
ブラウザのセットアップをします。Google Chromeはインストールできないので（もしインストールする方法あったら誰か教えてください）、Chromiumブラウザを以下のコマンドでインストールします。
$ sudo apt update
$ sudo apt install -y chromium-browser
VS Codeエディタ（Insider版）インストール
VS Codeエディタをインストールします。これまた正式版はインストールできないので（やり方知っている人いたら教えてください）、以下コマンドでInsider版をインストールします。
$ cd && wget -O insider.deb https://update.code.visualstudio.com/latest/linux-deb-arm64/insider
$ sudo apt install ./insider.deb
$ sudo mv /usr/bin/code-insiders /usr/bin/code
日本語化
$ sudo apt install -y ibus-mozc
$ sudo apt install -y language-pack-ja
$ sudo update-locale LANG=ja_JP.UTF8
以下画面で、Managed Install Languagesをクリックします（この作業はひょっとしたら不要かもしれません）。
ここまで実施して、以下コマンドで再起動します。
$ sudo reboot
再起動したら、右上から日本語変換としてMozcを選択できます。
これで日本語が使えるようになります。
操作・TIPS
パフォーマンスの最大化・確認
大体右上のGUIメニューで確認できます。
参考:nvpmodel-gui
Power modeはMAXNが最大です。かなりパフォーマンス変わってくるので、高速化したいときは最初にチェックしましょう。
CUIでは、以下のコマンドでパフォーマンスモードを変更できます。-mの後の数字が0のときがPower modeです。
$ sudo nvpmodel -m 0
現在のモードを知りたいときのコマンドは以下です。
$ sudo nvpmodel -q
以下コマンドを実行すると、クロック周波数などのパフォーマンスを最大化できます。FANがついていれば、FANも最大速度で動作します。
$ sudo jetson_clocks
現在の設定は以下コマンドで確認できます。
$ sudo jetson_clocks --show
jetson_clocksの本体は /usr/bin/jetson_clocks なので、何をしているか知りたい場合は、直接ファイルの中身を確認しましょう（$ less /usr/bin/jetson_clocksで確認できます）。
標準でセットアップされているtegrastatsは、以下コマンドで簡単にCPU、GPU負荷、メモリ使用量等をCUIで確認できます。Run tegrastatsをクリックしたときと同じ結果です。
$ tegrastats
バージョン確認方法
以下のコマンドを実行します。
$ cat /etc/nv_tegra_release
以下は実行結果です。最初のR36 (release), REVISION: 4.0がバージョン情報になります。
# R36 (release), REVISION: 4.0, GCID: 37537400, BOARD: generic, EABI: aarch64, DATE: Fri Sep 13 04:36:44 UTC 2024
# KERNEL_VARIANT: oot
TARGET_USERSPACE_LIB_DIR=nvidia
TARGET_USERSPACE_LIB_DIR_PATH=usr/lib/aarch64-linux-gnu/nvidia
バージョン情報は、以下のコマンドでも確認できます。
$ dpkg-query --showformat='${Version}' --show nvidia-l4t-core
以下は実行結果です。
36.4.0-20240912212859
音声出力
残念ながら、オーディオ端子はありません。とりあえずラズパイ用に買っていた、以下のUSBスピーカーつけたら音は出ました。
LLM関係
LLM関係のセットアップです。
Ollamaのインストール
$ cd && git clone https://github.com/dusty-nv/jetson-containers
$ bash jetson-containers/install.sh
$ jetson-containers run --name ollama $(autotag ollama)
コンテナ内で以下コマンドを実行します。
# ollama run 7shi/tanuki-dpo-v1.0:8b-q6_K
動作中。結構速いです。
以下コマンドだと一発で動かせるはずなのですが、動いたり動かなかったりします（よくわからないので確認中）。
$ jetson-containers run $(autotag ollama) /bin/ollama run 7shi/tanuki-dpo-v1.0:8b-q6_K
参考:Error "timed out waiting for llama runner to start: " on larger models. #4131
ネイティブなOllamaについて
コンテナを使わない、素の（ネイティブな）Ollamaは、以下コマンドでインストールできますが、自分の環境ではうまく動きませんでした。
$ curl -fsSL https://ollama.com/install.sh | sh
入れたままにしておくと、コンテナで動くOllamaと干渉してエラーになるので、こちらを参考にアンインストールしましょう。
参考:
まとめ
Seeed reComputer J4012についてまとめました。久しぶりのJetsonで、多少ハマったりもしながらセットアップしていますが、Jetson Nanoの経験が結構生きました。
随時情報追記していきます。
Discussion