微软开源用于AI模型的推理引擎ONNX Runtime

编译：chux

出品：ATYUN订阅号

在Microsoft Connect 2018开发者大会上，微软对Azure和IoT Edge服务进行了大量更新，微软免费提供ONNX Runtime，一种用于ONNX格式的AI模型的推理引擎。

微软在开源代码中提供了大量框架和引擎。第一个是开放式神经网络交换（ONNX）Runtime，这是一种用于ONNX格式的机器学习模型的高性能推理引擎。

它可从GitHub上获取，可以自定义并直接集成到现有代码库中，或者从源代码编译，在Windows 10，Linux和各种其他操作系统上运行。

ONNX对于深度学习模型来说，是一种platform-agnostic格式，可以实现开源AI框架之间的互操作性，例如谷歌的TensorFlow，微软的Cognitive Toolkit，Facebook的Caffe2和Apache的MXNet。微软，AWS和Facebook在大约一年前于2017年9月联合发布了应用，亚马逊，Nvidia，英特尔和AMD等公司正在对其进行积极的开发。

微软公司副总裁Eric Boyd表示，Bing Search，Bing Ads内部团队，以及已纳入ONNX Runtime的Office团队发现AI模型的性能是原生的两倍，在某些情况下更高一些。他补充说，它也已被纳入其他微软产品，包括Windows ML和ML.NET。

他表示，“随着ONNX Runtime开源，我们鼓励大家积极使用它，它可以在嵌入式空间，Windows和Linux上运行，它极大地简化了开发人员的工作。”

也许更重要的是，它得到了更广泛的ONNX社区的支持。英特尔和微软正在合作将nGraph编译器集成，作为ONNX Runtime的执行提供程序。Nvidia正在帮助整合TensorRT，高通公司表示了对此技术的支持。

高通AI产品管理高级总监Gary Brotman表示，“ONNX Runtime将进一步推动跨多个设备类别的框架互操作性，标准化和性能优化，我们希望在Snapdragon移动平台上支持ONNX Runtime，能使开发人员感到便利。”

资源：github.com/microsoft/onnxruntime