Closed3
Neuron SDK周りの調査
NeuronCore-v1 / NeuronCore-v2って何?
torch-neuronとtorch-neuronxがそれぞれNeuronCore-v1, NeuronCore-v2を使うらしいので何が違うのか調べた。
世代が違うエンジンのようだ。
Inferentiaはv1でTrainiumはv2を駆動するのに使うと書いてある。
NeuronCore-v1 is the first generation of the NeuronCore engine, powering the Inferentia NeuronDevices.
NeuronCore-v2 is the second generation of the NeuronCore engine, powering the Trainium NeuronDevices.
参考:
Neuron用にモデルをコンパイルするのにInferentia/Trainiumなどのチップは必要か?
必要ない。少なくともPytorchは。
torch_neuron.traceの説明を読むと次のように書いてある。
c5.4xlarge(vCPU 16, Mem32GB)以上のインスタンスが推奨とのこと。
Compilation can be done on any EC2 machine with sufficient memory and compute resources. c5.4xlarge or larger is recommended.
参考:
Neuron コンテナをアプリケーションで使うためにはどうすればよいか?
ビルドと実行方法がここに書かれている。
Dockerfileは↓をベースにして作ることになりそう。
Inf1用としながらneuronxをインストールしているのが気になる。
こっちも気になる
このスクラップは2023/02/06にクローズされました