Closed3

Neuron SDK周りの調査

KAZYPinkSaurusKAZYPinkSaurus

NeuronCore-v1 / NeuronCore-v2って何?

torch-neuronとtorch-neuronxがそれぞれNeuronCore-v1, NeuronCore-v2を使うらしいので何が違うのか調べた。
世代が違うエンジンのようだ。
Inferentiaはv1でTrainiumはv2を駆動するのに使うと書いてある。

NeuronCore-v1 is the first generation of the NeuronCore engine, powering the Inferentia NeuronDevices.

NeuronCore-v2 is the second generation of the NeuronCore engine, powering the Trainium NeuronDevices.

参考:
https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/arch/neuron-hardware/neuroncores-arch.html#neuroncores-v1-arch

KAZYPinkSaurusKAZYPinkSaurus

Neuron用にモデルをコンパイルするのにInferentia/Trainiumなどのチップは必要か?

必要ない。少なくともPytorchは。
torch_neuron.traceの説明を読むと次のように書いてある。
c5.4xlarge(vCPU 16, Mem32GB)以上のインスタンスが推奨とのこと。

Compilation can be done on any EC2 machine with sufficient memory and compute resources. c5.4xlarge or larger is recommended.

参考:
https://awsdocs-neuron.readthedocs-hosted.com/en/latest/frameworks/torch/torch-neuron/api-compilation-python-api.html

KAZYPinkSaurusKAZYPinkSaurus

Neuron コンテナをアプリケーションで使うためにはどうすればよいか?

ビルドと実行方法がここに書かれている。
https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/build-run-neuron-container.html#container-devices

Dockerfileは↓をベースにして作ることになりそう。
Inf1用としながらneuronxをインストールしているのが気になる。
https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/docker-example/inference/Dockerfile-libmode.html#libmode-dockerfile

こっちも気になる
https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/docker-example/v1/inference/Dockerfile-torch-neuron.html?highlight=dockerfile

このスクラップは2023/02/06にクローズされました