TensorRT safety runtime

在tensorrt上移植深度学习模型的时候需要在其安全模式下进行移植。有好多坑，这里记录一下tensorrt安全模式下的一些限制。：

1. TensorRT safety runtime 不支持DLA
2. safety runtime 不支持implicit batch size。batch size 必须是explicit。创建configurations时必须包含NetworkDefinitionCreationFlag::kEXPLICIT_BATCH .
3. safety runtime不支持动态尺寸
4. safety runtime支持float half int8等数据类型作为输入输出。支持所有未弃用的格式（kLINEAR , kCHW2 , kHWC8 , kCHW4 , kCHW16 , and kCHW32）
5. 在safety runtime时大多数的操作将在FP16 (kHALF)或INT8 (kINT8)精度中执行，并根据需要重新格式化。FP32精度值支持kernel size时1x1，没有padding，stride=1，没有dilation（FP32下不支持空洞卷积），group=1的卷积。
6. 对于所有的层，$batchSize\le 16$ ，$channels\le 4096$ ，并且特殊维度H和W也$\le 4096$。
7. 包含padding在内，网络中的$tensor\le 2^{31}-1$，请注意，如果通道大小不是矢量大小的精确倍数，则向量化格式具有填充。例如，kCHW32格式如果C=1将占用32倍的空间。
8. 在TensorRT安全运行时，只支持计算能力7.2的gpu。TensorRT代理运行时支持计算能力7.0(主机GPU)、7.2(目标硬件)和7.5(主机GPU和目标硬件)的GPU。