【AI】聊聊微软亚洲研究院开源推理引擎TurboEngine的设计与发展

作者：禅与计算机程序设计艺术

1.简介

机器学习（ML）的近些年里越来越受到关注，但其在各个行业都得到广泛应用，尤其是在互联网、金融、医疗等领域。

然而，目前企业级生产中还存在着巨大的运维成本，例如资源配置不当、模型管理混乱、数据安全不到位、可用性差等问题。为了解决这些问题，一些公司开始向机器学习平台迈进，将模型集成到应用系统中，通过自动化部署的方式加快模型上线速度。这样，就出现了面向生产环境的“工业级”推理引擎。

而微软亚洲研究院（MSRA）近日开源了其中的一个产品——微软亚洲研究院的推理引擎Turbo-Engine。Turbo-Engine是一个高性能的跨平台推理引擎，基于开源框架NVIDIA TensorRT进行开发。

本文将对Turbo-Engine进行详细介绍，从包括模型优化、内存优化、硬件加速、异构计算等多个方面进行阐述。希望能够给读者提供更全面的了解。

2.基本概念术语说明

2.1什么是深度学习？

深度学习是机器学习的一个分支。它涉及利用人工神经网络训练算法来进行模式识别、分类和回归任务。深度学习通常采用端到端的方式进行训练，不需要手工指定很多复杂的模型参数。

深度学习的关键是由浅层到深层的网络结构，即多层感知器（MLP），它的每一层都是由许多神经元组成的。因此，深度学习又可以称作深层神经网络（DNN）。

2.2什么是机器学习？

机器学习（ML）是让计算机用已有的数据训练出一个模型，以便对新的数据做出预测或分类。ML分为监督学习和无监