LLaMA-Mesh を Rescale Workstation にインストールする
この記事について
LLaMA-Mesh を Rescale の Workstation にインストールする手順を示します. GPU を使用するため、コアタイプは NVIDIA A10 搭載の Grossular-8 を選択します。必要なバージョンの Python を使用できるようにするため, Rescale Workstation のソフトウェアとしては Miniconda を選択し, Python のバージョンを指定して仮想環境を作ります. LLaMA-Mesh をインストールして起動し、最後に3次元メッシュを生成します
LLaMA-Mesh について
LLaMA-Mesh は、3次元メッシュを大規模言語モデルで扱うためのアプローチです。頂点座標と面定義をプレーンテキストで扱うことにより、語彙拡張をすることなく大規模言語モデルと3次元メッシュを統合しています。前出のリンク先にて NVIDIA Toronto AI Lab から概要が公開されており、さらにそこから論文やソースコードにアクセスできるようになっています
Hugging Face の Online Demo も公開されていますが、計算資源の制約があり、3次元メッシュの生成中に処理が止まってしまうことなどがあります。そこで, Rescale Workstation へインストールして, LLaMA-Mesh を試せる環境を構築します
インストール手順
以下の設定で Rescale Workstation を起動します
- Software Settings
- Miniconda Interactive 23.9
- Hardware Settings
- Grossular-8 96 cores (8 GPUs)
- Attachments: なし
Workstation のデスクトップ上で Terminal を開き、以下のコマンドを実行します
cd ${HOME}/work/shared/
git clone https://github.com/nv-tlabs/LLaMA-Mesh.git
cd LLaMA-Mesh/
conda config --add envs_dirs ${HOME}/.conda/envs
conda config --add pkgs_dirs ${HOME}/.conda/pkgs
conda create -n llama-mesh python==3.8.1 -y
conda activate llama-mesh
pip install -r requirements.txt
python app.py
上記のコマンドが完了すると、以下のように LLaMA-Mesh へのアクセス URL (http://127.0.0.1:7860) が表示された後, "To create a public link..." が出力されたところで Terminal への出力が止まります
Workstation のデスクトップ上でブラウザを開いて http://127.0.0.1:7860 へアクセスすると LLaMA-Mesh が開きます
3次元メッシュを生成する
Hugging Face 上にある Online Demo の最初の例である "Create a 3D model of a wooden hammer" を試してみます。入力欄にこの文を入力し Submit します
OBJ 形式で 3D モデルが書き出されます。私が試した際には6分くらいかけて書き出されました
書き出された OBJ 形式の文字列を 3D Mesh Input 欄に貼り付けて, Visualize 3D Mesh をクリックします
ハンマーのような形状が表示されました。マウス操作で視点を変えることなどができます
Discussion