ONNXのTensorRT INT8量子化ベンチマーク

trtexec \
--onnx=rvm_mobilenetv3_538x960.onnx \
--workspace=16384 \
--int8 \
--verbose

trtexec \
--onnx=rvm_mobilenetv3_1080x1920.onnx \
--workspace=16384 \
--int8 \
--verbose

trtexec \
--onnx=rvm_resnet50_538x960.onnx \
--workspace=16384 \
--int8 \
--verbose

trtexec \
--onnx=rvm_resnet50_1080x1920.onnx \
--workspace=16384 \
--int8 \
--verbose

xhost +local: && \
docker run --gpus all -it --rm \
-v `pwd`:/home/user/workdir \
-v /tmp/.X11-unix/:/tmp/.X11-unix:rw \
--device /dev/video0:/dev/video0:mwr \
--net=host \
-e XDG_RUNTIME_DIR=$XDG_RUNTIME_DIR \
-e DISPLAY=$DISPLAY \
--privileged \
pinto0309/wintest:latest

trtexec \
--onnx=rvm_resnet50_1080x1920.onnx \
--saveEngine=rvm_resnet50_1080x1920.trt \
--int8