TensorRT
Table of Contents

什么是TensorRT

NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。

此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。

您可以从每个深度学习框架中将已训练模型导入到 TensorRT。应用优化后,TensorRT 选择平台特定的内核,在数据中心、Jetson 嵌入式平台以及 NVIDIA DRIVE 自动驾驶平台上更大限度提升 Tesla GPU 的性能。

参考资料

  1. https://github.com/NVIDIA/TensorRT

如果你觉得这篇文章对你有帮助,不妨请我喝杯咖啡,鼓励我创造更多!