【AI】 int8とかfloat16、32、どれを使えばいいか

一般的に並べ替えるとこんな感じ。

---

(低精度、高速)

1. int8
2. int8_float16
3. int8_bfloat16
4. float16
5. bfloat16
6. int8_float32
7. float32

(高精度、低速)

ちょっとした解説

float32はfloat16の二倍の精度です。
int8_float32はint8計算とfloat32変換で速度とメモリのバランスを取ります。
int8_float16はfloat16部分の処理でメモリと計算資源を使用しますが、float32よりは軽量。
int8_bfloat16のメモリと計算資源の消費は float16に似ています。
float16は一般的に高速といわれています。特にAI・機械学習分野で精度と速度のバランスが良いとされています。