Jetson XAVIER NX上ResUnet-TensorRT8.2速度与显存记录表(后续不断补充)

ResUnet-TensorRT8.2速度与显存记录表

精度	模式	图像尺寸	类别数	批次	线程数	推理时间	完整处理时间	显存
FP32	20W 2CORE	512*640	2	1	1	168ms	179ms	2.2G
FP32	20W 2CORE	512*640	2	1	2	172ms	184ms	3.0G
FP16	20W 2CORE	512*640	2	1	1	58ms	68ms	1.6G
FP16	20W 2CORE	512*640	2	1	2	58ms	68ms	1.9G
FP32	20W 2CORE	512*612	6	1	1	167ms	209ms	2.2G
FP32	20W 2CORE	512*612	6	1	2	170ms	234ms	3.0G
FP16	20W 2CORE	512*612	6	1	1	57ms	97ms	1.6G
FP16	20W 2CORE	512*612	6	1	2	58ms	106ms	1.9G

说明：
1.模式是指Jetson设备的功耗模式，对于本人的Jetson XAVIER NX来说，总共有8种模式，如果想达到最大推理速度的话，选择20W 2CORE模式。在主界面的右上角有个MODE的选择，选择20W 2CORE模式即可。
（本人选择20W 6CORE测试下来跟20W 2CORE差不多，只快了1ms，所以选择20W 2CORE即可）

2.推理时间是指平均每张图进行doInference(即执行cudaMemcpyAsync）所需要的推理时间。
完整处理时间推理时间加上前处理与后处理时间。

3.对于Jetson设备来说，CPU和GPU共用，所以显存就是内存。对于Jetson XAVIER NX来说内存总共8G。
而查看的方式不能直接使用nvidia-smi的命令行，必须安装jetson-stats。
具体操作方式可参考以下博客。
Jetson设备上查看显存（内存）——jetson-stats

4.为什么本人会有8个模式，而且这个系统下的TensorRT是8.2.1.8版本,不是7版本，猜测原因是在最初烧录系统的时候使用的镜像是比较新的。
而且相比TensorRT7版本，速度快了近20ms，具体可以看本人之前的博客。
Jetson XAVIER NX上ResUnet-TensorRT7速度与显存记录表(后续不断补充)