🐘

PINTO model zooの歩き方 ~ Tour of PINTO model zoo ~

2021/11/21に公開

2件

TensorFlow

ディープラーニング

tech

PINTO model zooとは？

PINTOさんによるモデル動物園です。

古今東西の様々なAI（ディープラーニング）モデルが、軽量化され様々なフォーマットで格納されています。

軽量なモデルや、汎用的なONNX形式のモデルが多数あるので、Linux PCをはじめとして、Windows, Mac, Unity, Raspberry Pi（ラズパイ）, JetsonなどのあらゆるプラットフォームでGPU無しで動かすことができます。

そんなPINTO model zooですが、あまりに巨大かつ、ある程度分かっている人向けなので、初心者向けに、モデルを使ってどんなことができるかというツアーをしてみたいと思います。

具体的には、動物園に隠されているデモを次々と動かしていきPINTO model zooの凄さを体感していきます。その凄さにあなたは、きっと驚きおののくことでしょう！

環境構築

Linux PC（Intel Mac）

一番おすすめと考えられるLinux PCでの動かし方です。ここでは記載しませんが、同じ要領で、Intel Macでも動かせると思います。興味ある方はチャレンジしてみてください。

Pyenvでネイティブにインストールする方法と、Dockerを使う方法の2つを記載します。Dockerを使う方法がラクラクです。

Dockerを使ったセットアップ方法

PINTOさんが最強のDockerイメージを用意してくださっているので、以下コマンド実行するだけでOKです。20GB以上あるので、容量だけ注意ください。

$ xhost +local: && \
  docker run -it --rm \
  -v `pwd`:/home/user/workdir \
  -v /tmp/.X11-unix/:/tmp/.X11-unix:rw \
  --device /dev/video0:/dev/video0:mwr \
  --net=host \
  -e XDG_RUNTIME_DIR=$XDG_RUNTIME_DIR \
  -e DISPLAY=$DISPLAY \
  --privileged \
  ghcr.io/pinto0309/openvino2tensorflow:latest

これで、なんとDocker上でGUIもUSBカメラも使えるようになります。神イメージですね。

参考：openvino2tensorflow#4-1-environment-construction-pattern-1-execution-by-docker-strongly-recommended

Pyenvを使ったセットアップ方法

以下記事参考にPyenvで環境構築します。

以下最低限の環境構築のコマンドです。汎用的なONNX形式のモデルならこれで動かせます。TensorFlowやPyTorchが無くても動かせるのがポイントです。環境によっては、なかなかこれらのソフトのインストールが大変なので、無しで動くのは嬉しいですね。

$ pyenv install 3.8.12
$ pyenv global 3.8.12
$ pyenv virtualenv 3.8.12 ml
$ pyenv global 3.8.12/envs/ml 
$ python3 -m pip install opencv-python
$ python3 -m pip install onnxruntime
$ python -m pip install pillow

TensorFlowをインストールしたい場合は以下です。

$ python3 -m pip install tensorflow==2.7.0

Windows(WSL2)

WSL2上で動かすためには、WSL2上でUSBカメラを扱えるようにセットアップする必要があります。ただ、少し手順は多く比較的なれている人向けです。

まずは、以下記事を参考にWSL2上でUSB機器を使えるようにする設定をします。以下はWindows11が前提となっていますが、Windows10でも問題ありませんでした。

最初のwsl --updateもしなくて大丈夫です（カーネル 5.4.72でいけました）。

私がハマったポイントは以下です。

<windows username>に必ずWindowsのユーザー名を入れる（2箇所あるので注意）
管理者権限でターミナルを起動する
WSL2が起動しなくなったら C:\Users\<windows username>/.wslconfigを削除して復帰

上記設定が終わったら、WSL2上でUSBカメラが使えるようになります。

WSL2がもし起動しなくなったら以下記事参照ください。

あとは、Linuxと同様、Dockerで動かすことができるはずですが、まだ私はDocker上での確認まではできていません。

Apple Silicon Mac

Apple Silicon Macの場合は、オススメしませんが、以下参考にセットアップしたら動くかもしれません。

Raspberry Pi（ラズパイ）

以下記事参照ください。

Jetson

ラズパイと大体同じ要領で動くと思います。基礎的なセットアップなどは、以下記事参照ください。

PINTO model zoo Tour

以下、基本的にカメラを使ったデモなので、適当なUSBカメラを接続して実行してください。

上述しているセットアップを完了させたあと、最初に以下を実行してPINTO_model_zooをクローンしてください。

$ cd && git clone https://github.com/PINTO0309/PINTO_model_zoo

追記：モデルのダウンロードに関して

2022年3月現在PINTO_model_zooのダウンロードスクリプトでモデルがダウンロードできません。

原因と対応方法は以下2つになります。

多くの人が同時にアクセスし過ぎている → 直接ブラウザでダウンロード
Googleの仕様変更 → スクリプトの変更 or 直接ブラウザでダウンロード

確実なのは、直接ブラウザでダウンロードする方法です。また、Macの場合はファイル容量大きい場合は、スクリプトを変更してもスクリプトからではダウンロードできない場合があるようです（原因は未調査）。

ブラウザでダウンロードするには、ダウンロードスクリプト冒頭の以下の<file id>部分をコピペします。

fileid="<file id>"

続いて、ブラウザのアドレスバーに以下のようにペーストするだけです。

https://drive.google.com/uc?export=download&id=<file id>

スクリプトの変更に関しては、こちらの記事参考に修正ください。ただし、スクリプト修正しても、多くの人が同時にアクセスしすぎているとダウンロードできないので、直接ブラウザでダウンロードするのが確実です。

スクリプトは、多くの飼育員の活躍により、無事全て変換されました参考PR。

https://github.com/Kazuhito00/YuNet-ONNX-TFLite-Sample より引用

動かし方

$ git clone https://github.com/Kazuhito00/YuNet-ONNX-TFLite-Sample
$ cd YuNet-ONNX-TFLite-Sample
$ python sample_onnx.py

146_FastDepth

単眼Depth推定のデモができます。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/146_FastDepth
$ ./download.sh
$ python3 demo/demo_fast_depth_onnx.py --model saved_model_128x160/fast_depth_128x160.onnx
$ ython3 demo/demo_fast_depth_tflite.py --model saved_model_128x160/model_weight_quant.tflite

158_HR-Depth

単眼Depth推定のデモができます。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/158_HR-Depth
$ ./download_saved_model_lite_hr_depth_k_t_encoder_depth_192x640.sh
$ python3 demo/demo_hr_depth_onnx.py --model saved_model_lite_hr_depth_k_t_encoder_depth_192x640/lite_hr_depth_k_t_encoder_depth_192x640.onnx
$ python3 demo/demo_hr_depth_tflite.py --model saved_model_lite_hr_depth_k_t_encoder_depth_192x640/model_float16_quant.tflite

171_Fast-SRGAN

超解像のデモができます。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/171_Fast-SRGAN
$ ./download.sh
$ python3 demo/demo_fast_srgan_onnx.py
$ python3 demo/demo_fast_srgan_tflite.py

172_Real-Time-Super-Resolution

超解像のデモができます。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/172_Real-Time-Super-Resolution
$ ./download.sh
$ python demo/demo_Real-Time-Super-Resolution_onnx.py
$ python demo/demo_Real-Time-Super-Resolution_tflite.py

176_StableLLVE

暗所ノイズ除去のデモができます。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/176_StableLLVE
$ ./download.sh
$ python3 demo/demo_StableLLVE_onnx.py
$ python3 demo/demo_StableLLVE_tflite.py

193_CoCosNet

画風変換のデモです。

サンプル

動かし方

$ cd ~/PINTO_model_zoo/193_CoCosNet
$ ./download.sh
$ cd demo
$ python3 demo_CoCosNet\(only_cocosnet_onnx\).py --model ../saved_model_256x256/cocosnet.onnx

441_YOLOX-Body-Head-Hand-Face-Dist

すごい性能の人体の検出モデルです。

サンプル

動かし方

$ cd PINTO_model_zoo/441_YOLOX-Body-Head-Hand-Face-Dist
$ ./download_x_withpost.sh
$ python demo/demo_yolox_onnx_tfite.py -v <movie file>

Unity関連

今後追記予定です。

今後追加予定

エラーで動かない

そのうち修正チャレンジします。

 File "sample_onnx.py", line 182, in <module>
    main()
  File "sample_onnx.py", line 111, in main
    bboxes, scores, class_ids = nanodet.inference(frame)
  File "/home/karaage/NanoDet-ONNX-Sample/nanodet/nanodet_onnx.py", line 73, in inference
    bboxes, scores, class_ids = self._post_process(results)
  File "/home/karaage/NanoDet-ONNX-Sample/nanodet/nanodet_onnx.py", line 184, in _post_process
    bboxes, scores, class_ids = self._get_bboxes_single(
  File "/home/karaage/NanoDet-ONNX-Sample/nanodet/nanodet_onnx.py", line 263, in _get_bboxes_single
    bboxes = bboxes[indexes[:, 0]]
IndexError: too many indices for array: array is 1-dimensional, but 2 were indexed

Traceback (most recent call last):
  File "demo/demo_vehicle-detection-0200_onnx.py", line 187, in <module>
    main()
  File "demo/demo_vehicle-detection-0200_onnx.py", line 152, in main
    bboxes, scores = run_inference(
  File "demo/demo_vehicle-detection-0200_onnx.py", line 114, in run_inference
    nms_bbox_list.append(bbox_list[index[0]])
IndexError: invalid index to scalar variable.

これから試す

まとめ

PINTO model zooツアーをしてみました。他にも面白そうなモデルを発見したら追加していきます。

動物園には、まだまだ手軽に動かせるデモソフトが存在しない大量のモデルが埋もれています。デモソフトを作ってPull Requestしたら一躍（一部界隈で）ヒーローです！次のPINTO model zoo飼育員は君だ！

参考リンク

変更履歴

2022/03/24 モデルのダウンロード方法に関して追記
2021/01/16 Dockerイメージに関して追記
2021/11/27 環境セットアップに関して追記
2021/11/26 モデル追加

Discussion

zinziroge

最初の段落でのtypo報告です。
CPUなしでは流石に動かないっす。
誤) ...CPU無しで動かすことができます。
正) ...GPU無しで動かすことができます。

PINTO model zoo動かしてみます。

karaage0703

TYPO報告ありがとうございます。修正いたしました。

PINTO model zooとは？

環境構築

Linux PC（Intel Mac）

Dockerを使ったセットアップ方法

Pyenvを使ったセットアップ方法

Windows(WSL2)

Apple Silicon Mac

Raspberry Pi（ラズパイ）

Jetson

PINTO model zoo Tour

追記：モデルのダウンロードに関して

公式README

007_mobilenetv2-poseestimation

サンプル

動かし方

関連リンク

115_MoveNet

サンプル

動かし方

関連リンク

119_M-LSD

サンプル

動かし方

関連リンク

129_SCRFD

サンプル

動かし方

関連リンク

136_road-segmentation-adas-0001

サンプル

動かし方

関連リンク

137_MoveNet_MultiPose

サンプル

動かし方

関連リンク

144_YuNet

サンプル

動かし方

関連リンク

146_FastDepth

サンプル

動かし方

関連リンク

158_HR-Depth

サンプル

動かし方

関連リンク

171_Fast-SRGAN

サンプル

動かし方

関連リンク

172_Real-Time-Super-Resolution

サンプル

動かし方

関連リンク

176_StableLLVE

サンプル

動かし方

関連リンク

193_CoCosNet

サンプル

動かし方

関連リンク

441_YOLOX-Body-Head-Hand-Face-Dist

サンプル

動かし方

関連リンク

Unity関連

今後追加予定

エラーで動かない

これから試す

まとめ

参考リンク

関連ページ

変更履歴

Discussion