Open3

NPU向けのAPIは結局どうなったのか問題

okuokuokuoku

GoogleはAndroid15でNNAPIを廃止したので、実は個々のフレームワーク(TFLiteとか)を通す以外にシステムのNPUを活用する方法が無くなってしまったんじゃないか説。

そのかわりAMDはNPUを廃止してGPUに寄せたりとか、TFLiteのdelegationも(NPUではなく)GPUだったりとか、AppleもMPSを通してGPUを使わせたりしているので、世間的にはカスタムAIを動作させるための手法としてはGPUを推しつつあるように見える。

要はオペレーターとかをきっかり規格化するという方向の努力をみんなあんまり重視してないんだろう。いやぁONNXとかあるわけだけど、エコシステムの囲い込みという面ではハイレベルなAPIを使わせた方が有利なわけだし。。

okuokuokuoku

WebNN

この辺の共通ライブラリとして期待されるのはWebNNがあって、WebNNのページでバックエンド毎に実装率が挙がっている。

https://webmachinelearning.github.io/webnn-status/

ここでは、

  • DirectML (Windows)
  • LiteRT (= TFLite)
  • Core ML

がバックエンドとして並んでいて、どれもプラットフォーム固有のNPUをサポートしている。 (ただし、 LiteRT のNPUサポートはearly accessで一般には使えない)