被 TensorFlowLite 刷屏了吧,偏要再发一遍

翻译 | 刘畅Troy

谷歌今天终于发布了TensorFlow Lite 的开发者预览!该项目是在5月份的I/O开发者大会上宣布的,据Google网站描述,对移动和嵌入式设备来说,TensorFlow是一种轻量级的解决方案,支持多平台运行,从机架式服务器到微小的物联网设备。近几年来,由于其作为机器学习模型的使用已成倍增长,所以移动设备和嵌入式设备也出现了部署需求。Tensorflow Lite使机器学习模型设备能够实现低延迟的推理。

在本文中,Google展示了TensorFlow Lite的框架构成以及一些功能特性。

TensorFlow Lite设计初衷

  • 轻量级:允许在具有很小的二进制大小和快速初始化/启动的机器学习模型设备上进行推理。
  • 跨平台:能够运行在许多不同的平台上,首先支持Android和iOS平台
  • 快速:针对移动设备进行了优化,包括显著提高模型加载时间和支持硬件加速

现在越来越多的移动设备集成了定制硬件来更有效地处理机器学习带来的工作负载。TensorFlow Lite支持Android神经网络API(Android Neural Networks API)利用这些新的加速器硬件。当加速器硬件不可用的时候,TensorFlow Lite会执行优化CPU,这可以确保你的模型仍然可以很快的运行在一个大的设备上。

TensorFlow Lite架构设计

下面的关系图显示了TensorFlow Lite的构架设计:

组件包括:

  • TensorFlow模型:一个保存在磁盘上训练好的TensorFlow模型。
  • TensorFlow Lite转换器:一个将模型转换为Tensorflow Lite文件格式的程序。
  • TensorFlow模型文件:基于FlatBuffers格式的模型文件,已针对最大速度和最小尺寸进行了优化。

Tensorflow Lite模型文件将被部署在一个移动应用程序,其中:

  • Java API:在Android上对C++API的一个封装。
  • C++ API:加载Tensorflow Lite模型文件和调用解释器。在Android和iOS上共用同一个库文件。
  • 解释器:采用一组运算符来执行模型。解释器支持选择性的运算负荷;没有运算符大小只有70kb,当所有的运算符加载时,大小是300kb。正常的移动端的Tensorflow(包含一个规范的运算符操作集)需要1.5M的大小,可以看到解释器显著减少了内存。

关于选择Android设备,解释器会采用Android Neural Networks API来进行硬件加速,或者如果没有可用的,默认为CPU执行。

开发人员还可以使用C++ API实现可由解释器使用的定制的内核。

模型

Tensorflow Lite已经有一些训练和优化好的支持移动端的模型:

  • MobileNet: 一种能够识别1000类不同目标的视觉模型,它是为在移动设备和嵌入式设备上高效执行而独特设计的。
  • Inception v3: 一个图像识别的模型,在功能上类似MobileNet,提供更高的精度同时也有较大的尺寸
  • Smart Reply: 一种设备级的会话模型,针对即将到来的会话聊天消息,它提供一种触摸响应。在Android Wear上,第一方和第三方的消息应用程序均使用了此功能。

Inception v3和MobileNet均是在ImageNet数据集上预训练好的。通过迁移学习,你可以轻松的在你自己的数据集上再训练这个模型。

什么是TensorFlow Mobile?

正如你可能知道的,通过Tensorflow Mobile API,Tensorflow已经支持了在移动端和嵌入式上部署模型。未来TensorFlow Lite应该被视为Tensorflow Mobile的演化,并随着它的成熟将成为模型部署在移动端和嵌入式设备上的推荐方案。目前TensorFlow Lite是开发者预览版,同时Tensorflow Mobile仍然支持APP的开发。

Tensorflow Lite的应用范围大,目前处于积极开发中。通过这个开发者预览版,我们有意地启动了一个带约束的平台来确保一些最重要的常用模型的性能。我们计划根据用户的需求对未来的功能扩展进行优先级排序。我们持续开发的目标是为了降低对开发人员经验的要求,并能为一系列移动和嵌入式设备部署模型。

我们非常兴奋开发者能够上手使用Tensorflow Lite。对于其余的Tensorflow项目,我们计划使用同一强度来支持和解决外部社区问题。期待你能用TensorFlow Lite做些非常酷的事情。

更多关于Tensorflow Lite的功能和信息,请点击TensorFlow Lite文档:

http://tensorflow.org/mobile/tflite

祝大家Tensorflow Lite编程快乐。

本文来自 AI 科技大本营微信公众号

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

加入巨头竞争之列,索尼开源可在Windows中运行的神经网络库NNabla

选自Sony 机器之心编译 参与:蒋思源、李泽南 索尼昨天宣布开源了自己的神经网络库 NNabla,其中包含用于深度学习系统的 Python API 与用于嵌入...

3256
来自专栏量子位

众筹项目能否成功?用机器学习预测可以早知道

安妮 编译自 Shrikar Archak 量子位出品 | 公众号 QbitAI Kickstarter是一家美国的众筹平台。自2009年成立至今,已经有36万...

3435
来自专栏机器之心

想轻松复现深度强化学习论文?看这篇经验之谈

选自Amid Fish 作者:Matthew Rahtz 机器之心编译 近期深度强化学习领域日新月异,其中最酷的一件事情莫过于 OpenAI 和 DeepMin...

3136
来自专栏机器之心

要玩转这个星际争霸II开源AI,你只需要i5+GTX1050

Reaver 是一个模块化的深度强化学习框架,可提供比大多数开源解决方案更快的单机并行化能力,支持星际争霸 2、OpenAI Gym、Atari、MuJoCo ...

81
来自专栏自然语言处理

Google Plus 文本提取与分析4

特征词/关键词提取最简单最基础的就是TFIDF,记得5年前我同学让我帮做DI-TFIDF的论文,也就只多了个类内离散度(DI),今年阿里校招笔试题都有,用map...

841
来自专栏何俊林

Android Multimedia框架总结(五)多媒体基础概念

转载请把头部出处链接和尾部二维码一起转载,本文出自: http://blog.csdn.net/hejjunlin/article/details/52431...

1999
来自专栏量子位

这份NLP研究进展汇总请收好,GitHub连续3天最火的都是它

1013
来自专栏生信技能树

lncRNA数据分析传送门

step1: 计算资源的准备 如果有差不多配置的服务器,就可以从SRA/FASTQ格式数据开始走全套流程。不懂配置,请看前面转录组和表观组的传送门。 如果只有个...

4129
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/7/29

1. Google Cloud Next '18年度大会,宣布AutoML Translate, AutoML Natural Language, Contac...

801
来自专栏AI科技大本营的专栏

今天被TensorFlowLite刷屏了吧,偏要再发一遍

翻译 | 刘畅Troy 谷歌今天终于发布了TensorFlow Lite 的开发者预览!该项目是在5月份的I/O开发者大会上宣布的,据Google网站描述,对移...

4186

扫码关注云+社区