专栏首页Flink实战应用指南Flink Forward 2019--AI 相关(1)--在Flink部署ONNX模型

Flink Forward 2019--AI 相关(1)--在Flink部署ONNX模型

Deploying ONNX models on Flink - Isaac Mckillen - Godfried(AI Stream)

The Open Neural Network exchange format (ONNX) is a popular format to export models to from a variety of frameworks. It can handle the more popular frameworks like PyTorch and MXNet but also lesser known frameworks like Chainer and PaddlePaddle. To this point there have been few attempts to integrate deep learning models into the Flink ecosystem and those that have focused entirely on Tensorflow models. However, the amount of deep learning models written in PyTorch continues to grow and many companies prefer to use the other frameworks. This talk will focus on different strategies to use ONNX models in Flink applications for realtime inference. Specifically, it will compare using an external microservice with AsyncIO, Java Embedded Python, and Lantern (a new backend for deep learning in Scala). The talk will weigh these different approaches and which setups works faster in practice and which are easier to setup. It will also feature a demonstration where we will take a recent PyTorch natural language processing model, convert it to ONNX and integrate it into a Flink application. Finally, it will also look at a set of open-source tools aimed at making it easy to take models to production and monitor performance.

开放式神经网络交换格式(ONNX)是从各种框架导出模型的流行格式。它可以处理比较流行的框架,如pytorch和mxnet,但也可以处理不太知名的框架,如chainer和paddle。到目前为止,很少有人尝试将深度学习模型集成到Flink生态系统中,而那些完全专注于TensorFlow模型的研究。然而,用pytorch编写的深度学习模型的数量继续增长,许多公司更喜欢使用其他框架。本文将重点讨论在Flink应用程序中使用ONNX模型进行实时推理的不同策略。具体来说,它将使用外部微服务与AsyncIO、Java嵌入式Python和Lunn(Scala中的深度学习的新后端)进行比较。讨论将权衡这些不同的方法,哪些设置在实践中工作更快,哪些设置更容易设置。它还将以一个演示为特色,我们将采用最近的pytorch自然语言处理模型,将其转换为onnx并将其集成到Flink应用程序中。最后,它还将研究一组开源工具,旨在使模型易于投入生产和监控性能。

本文分享自微信公众号 - Flink实战应用指南(FlinkChina),作者:阿泽

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink Forward 2019--实战相关(8)--Intuit公司分享识别图片

    Building Financial Identity Platform using Apache Flink -- Vivek Thakre(Intuit.c...

    阿泽
  • Flink Forward 2019--实战相关(14)--Arctic Wolf Networks分享事件流攻击

    Hunting for Attack Chains in Event Streams -- Ray Ruvinskiy(Arctic Wolf Networks...

    阿泽
  • Flink Forward 2019系列文章--实战相关(1)--农业机械公司John Deere

    How John Deere uses Flink to process millions of sensor measurements per second-...

    阿泽
  • Elixir, OTP, Ecto, 和 Phoenix 免费教程!

    时见疏星
  • VMware发布两大产品预览:Bonneville和AppCatalyst

    Project Bonneville就是采用虚拟机封装容器的技术,达到安全,高隔离度的目的。该项目扩展了Docker engine创建容器的方式,把原来在Lin...

    Henry Zhang
  • Flink Forward 2019--实战相关(8)--Intuit公司分享识别图片

    Building Financial Identity Platform using Apache Flink -- Vivek Thakre(Intuit.c...

    阿泽
  • 患者的个人健康知识图(CS.AI)

    现有的患者数据分析平台无法整合具有上下文,个性化和主题性的信息。为了使推荐系统对查询做出适当的响应或从患者数据中得出有意义的见解,推荐系统应考虑有关患者健康史的...

    蔡小雪7100294
  • 什么是python/django web程序员在三个月内应该学习的知识

    This is a collection of things I think any beginner web developer working on the...

    小小科
  • 黑盒机器翻译系统的模仿攻击与防御(CS.CL,CS.LG)

    我们认为一个对手想要窃取或攻击一个黑箱机器翻译(MT)系统,无论是为了经济利益还是利用模型错误。我们首先证明了黑盒机器翻译系统可以通过查询单语句子和训练模型来模...

    用户7236395
  • 个性化语法纠错:根据能力水平和 L1 进行调整(CS CL)

    语法纠错 (GEC) 系统在各种软件应用中已变得无处不在,并已开始在某些数据集上接近人类水平的性能。然而,对于如何根据用户的特点(如用户的熟练程度和第一语言)或...

    刘持诚

扫码关注云+社区

领取腾讯云代金券