Table of Contents
什么是TensorRT
NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。
此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。
您可以从每个深度学习框架中将已训练模型导入到 TensorRT。应用优化后,TensorRT 选择平台特定的内核,在数据中心、Jetson 嵌入式平台以及 NVIDIA DRIVE 自动驾驶平台上更大限度提升 Tesla GPU 的性能。
参考资料
- https://github.com/NVIDIA/TensorRT