研究团队用TensorRT将实时对象检测性能提高6倍
2018年06月08日 由 浅浅 发表
302067
0
SK Telecom的研究人员开发了一种新方法,用NVIDIA TensorRT高性能深度学习推理引擎使基于深度学习的对象检测加速。该方法可用于各种项目,包括监测医院或疗养院的患者,深入运动员的运动分析,帮助执法机构找到失踪或被绑架的儿童。
该方法首次在今年圣何塞的GPU技术大会上发布,其重点是提高人体检测的准确性并最大化实时推理应用的吞吐量。
他们的TensorRT集成性能提高了6倍之多。
SK Telecom的机器学习和计算机视觉工程师Shounan An表示:“SIDNet在NVIDIA Tesla V100上使用INT8比原来的YOLO-v2 运行速度快6倍,这通过在几个基准对象检测和入侵检测数据集上验证SIDNet来证实。“与FP32模式相比,性能提高6倍,而精度仅降低了1%。”
YOLO-v2和SIDNet在FP32 / FP16 / INT8模式下的推理时间,所有实验均基于NVIDIA Tesla V100进行。
“使用INT8时,TensorRT可实现强大的推理加速,同时将精度损失最小化到1%。已经非常出色的YOLO-v2的性能还可以进一步提升表明,随着NVIDIA不断改进TensorRT,可能会有更多的提升空间。”An表示。