torchserveのバージョン管理について

前提

• REST APIを使用。gRPCは使ってない
• v0.3.0を使用

Management APIで色々出来そう。とりあえずモデルの追加をGUIで出来るようにしたいかな。

https://github.com/pytorch/serve/blob/v0.3.0/docs/management_api.md

同じモデルのバージョン上げたmarファイルをtorch-model-archiverで作ろうとすると、このようなエラーが出る。上書きもして欲しくなくて、marファイルの名前が{model-name}_{version}.marになるのが理想だけど、そうならない。必ず{model-name}.marになるので、とりあえずファイルを生成してからファイル名を変えることで対応する。

ERROR - /home/model-server/model-store/{model-name}.mar already exists.
Please specify --force/-f option to overwrite the model archive output file.
See -h/--help for more details.

例えばこんな感じでmodel-storeに置く

#!/bin/bash
torch-model-archiver --model-name model --version 0.01 --serialized-file empty.pt   --handler /home/model-server/models/noop-ssd/handler.py
mv model.mar /home/model-server/model-store/model_0_01.mar

同じモデルのバージョンの上げるときの手順

• torch-model-archiverでモデル名を揃えてバージョン名は変更する。生成されたmarファイルは{model-name}_{new_version}.marにしてmodel-storeに入れる
• torchserveに登録する:curl -X POST "http://localhost:8081/models?url={model-name}_{new_version}.mar"
• デフォルトのバージョンを変更する:curl -X PUT http://localhost:8081/models/{model-name}/{new_version}/set-default

状況確認に使いそうなAPI

• 登録されているモデルのバージョンを確認する

curl http://localhost:8081/models/{model-name}/all

• デフォルトのモデルのバージョンを確認する

curl http://localhost:8081/models/{model-name}