Jetson XAVIER NX上ResUnet-TensorRT8.2速度與顯存記錄錶(後續不斷補充)

ResUnet-TensorRT8.2速度與顯存記錄錶

精度	模式	圖像尺寸	類別數	批次	線程數	推理時間	完整處理時間	顯存
FP32	20W 2CORE	512*640	2	1	1	168ms	179ms	2.2G
FP32	20W 2CORE	512*640	2	1	2	172ms	184ms	3.0G
FP16	20W 2CORE	512*640	2	1	1	58ms	68ms	1.6G
FP16	20W 2CORE	512*640	2	1	2	58ms	68ms	1.9G
FP32	20W 2CORE	512*612	6	1	1	167ms	209ms	2.2G
FP32	20W 2CORE	512*612	6	1	2	170ms	234ms	3.0G
FP16	20W 2CORE	512*612	6	1	1	57ms	97ms	1.6G
FP16	20W 2CORE	512*612	6	1	2	58ms	106ms	1.9G

說明：
1.模式是指Jetson設備的功耗模式，對於本人的Jetson XAVIER NX來說，總共有8種模式，如果想達到最大推理速度的話，選擇20W 2CORE模式。在主界面的右上角有個MODE的選擇，選擇20W 2CORE模式即可。
（本人選擇20W 6CORE測試下來跟20W 2CORE差不多，只快了1ms，所以選擇20W 2CORE即可）

2.推理時間是指平均每張圖進行doInference(即執行cudaMemcpyAsync）所需要的推理時間。
完整處理時間推理時間加上前處理與後處理時間。

3.對於Jetson設備來說，CPU和GPU共用，所以顯存就是內存。對於Jetson XAVIER NX來說內存總共8G。
而查看的方式不能直接使用nvidia-smi的命令行，必須安裝jetson-stats。
具體操作方式可參考以下博客。
Jetson設備上查看顯存（內存）——jetson-stats

4.為什麼本人會有8個模式，而且這個系統下的TensorRT是8.2.1.8版本,不是7版本，猜測原因是在最初燒錄系統的時候使用的鏡像是比較新的。
而且相比TensorRT7版本，速度快了近20ms，具體可以看本人之前的博客。
Jetson XAVIER NX上ResUnet-TensorRT7速度與顯存記錄錶(後續不斷補充)