Google正式发布TensorFlow Lite预览版,针对移动/嵌入设备的轻量级解决方案

日前,谷歌正式发布 TensorFlow Lite 开发者预览版,这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow Lite 是一种全新的设计,具有三个重要功能——轻量级(Lightweight)、跨平台(Cross-platform)、快速(Fast)。

下面是来自 Google Developers Blog 的详细信息, AI研习社编译如下。

今天,我们正式发布 TensorFlow Lite 开发者预览版,这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow 可以在许多平台上运行,从机架上大量的服务器到小型的物联网设备,但近几年,随着大家使用的机器学习模型呈指数级增长,因此需要将训练模型的平台扩展到移动和嵌入式设备上。TensorFlow Lite 支持设备上机器学习模型的低时延推理。

TensorFlow Lite 是一种全新的设计,它支持以下功能:

  • 轻量级(Lightweight):支持机器学习模型的推理在较小二进制数下进行,能快速初始化/启动。
  • 跨平台(Cross-platform):可以在许多不同的平台上运行,现在支持 Android 和 iOS
  • 快速(Fast):针对移动设备进行了优化,包括大大减少了模型加载时间、支持硬件加速。

如今,越来越多的移动设备中含有专用的定制硬件来更高效地进行机器学习。TensorFlow Lite 支持 Android 神经网络API(Android Neural Networks API),大家在使用 TensorFlow Lite 时可以利用这些有用的加速器。

当加速器(硬件设备)不可用时,TensorFlow Lite 会返回到 CPU 来执行,这将保证模型仍然可以在一大批设备上快速运行。

结构

下图是 TensorFlow Lite 的结构设计:

模块如下:

  • TensorFlow Model: 存储在硬盘上已经训练好的 TensorFlow 模型
  • TensorFlow Lite Converter: 将模型转换为 TensorFlow Lite 文件格式的程序。
  • TensorFlow Lite Model File: 基于 FlatBuffers 的模型文件格式,针对速度和大小进行了优化。

可以将 TensorFlow Lite Model File 部署到 Mobile App ,如上图中所示:

  • Java API: 处于 Android App 中 C++ App 上,方便封装。
  • C++ API: 加载 TensorFlow Lite Model File,调用解释器(Interpreter)。

上面的这两个库在 Android 和 iOS 端都可用。

  • Interpreter:使用一组运算符来执行模型。运算符可以选择,如果不含运算符,只有70KB,加载所有的运算符之后为300KB。比起需要1.5 M(使用一组正规的操作符)的 TensorFlow Mobile,能使容量大大减小。
  • 在 Android 设备上,Interpreter 支持 Android神经网络API,可以用它进行硬件加速。如果没有可用的加速器,则默认使用CPU。

开发人员还可以使用C++ API来自定义 kernel。

模型

TensorFlow Lite 目前支持很多针对移动端训练和优化好的模型。

  • MobileNet:能够识别1000种不同对象类的视觉模型,为实现移动和嵌入式设备的高效执行而设计。
  • Inception v3:图像识别模型,功能与 MobileNet 相似,它提供更高的精度,但相对来说更大。
  • Smart Reply: 设备对话模型,可以即时回复聊天消息,在 Android Wear 上有使用这一功能。

Inception v3 和 MobileNets 已经在 ImageNet 数据集上训练了。大家可以利用迁移学习来轻松地对自己的图像数据集进行再训练。

关于TensorFlow Mobile

正如大家知道的那样,TensorFlow 可以通过 TensorFlow Mobile API 对模型进行移动和嵌入式部署。展望未来,TensorFlow Lite 应该被看作是 TensorFlow Mobile 的升级。随着一步步的成熟,它将成为在移动和嵌入式设备上部署模型的推荐解决方案。

TensorFlow Lite 目前是预览版,大家仍然可以使用 TensorFlow Mobile。

TensorFlow Lite 的功能有很多,目前仍处于紧锣密鼓的开发阶段。这次的发布中,我们特意使用受限平台,来保证一些最重要的常见模型的性能不受到影响。

我们计划根据用户的需要来考虑未来优先扩展的功能。我们的开发目标是简化开发人员的体验,并让模型能部署到一系列移动和嵌入式设备上。

很高兴开发者也在帮助TensorFlow Lite项目的顺利进行。我们将会以与TensorFlow项目相同的热情来支持和启动TensorFlow Lite社群。欢迎大家来使用TensorFlow Lite。

更多信息请点击TensorFlow Lite文件页面(http://t.cn/RjM9aVo),接下来会有持续更新。

via:Google Developers Blog(http://t.cn/RjMoIyy)

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

教程 | 如何用TensorFlow在安卓设备上实现深度学习推断

4025
来自专栏python小白到大牛

Python识别验证码的另一种花样玩法

这里使用了 pytesseract 来进行验证码识别,它是基于 Google 的 Tesseract-OCR ,所以在使用之前需要先安装 Tesseract-O...

1465
来自专栏量子位

“你的深度学习框架包含15个漏洞”,360说 | 附论文

允中 李林 编译整理 量子位 出品 | 公众号 QbitAI ? 注意!你的深度学习框架有漏洞! 这个警告来自360安全实验室(Qixue Xiao、Deyue...

3403
来自专栏华章科技

机器学习和深度学习视频资料精选(附学习资料)

pandax视频教程 链接: https://pan.baidu.com/s/1pLqavVX 密码: fath python入门到精通 链接: http...

1843
来自专栏AI研习社

免费!有了这个资料合集轻松玩转TensorFlow !

近日,社长经历了几个不眠长夜,殚精竭力、呕心沥血地在网上搜集了诸多 TensorFlow 相关的文档、教程和数据包等学习和研发资料,总数超过 400M,打算一次...

2846
来自专栏机器之心

计算机架构顶会ISCA 2018唯一中国论文:清华大学提出AI计算芯片的存储优化新方法

卷积神经网络目前已经广泛应用于各种任务中,但因为其参数数量与中间储存的特征图数据,它很难部署到一般端应用中。尤其是当输入图像的分辨率增加,网络储存的中间特征图将...

1650
来自专栏腾讯云数据库(TencentDB)

腾讯云CDB的AI技术实践:CDBTune

CDBTune是腾讯云自主研发的数据库智能性能调优工具。它无需细分负载类型和积累大量样本,通过智能学习参与参数调优,获得较好的参数调优效果。

9.2K4
来自专栏智能算法

网页排序算法之PageRank

1. PageRank算法概述 PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于...

4378
来自专栏Android开发实战

重磅实战:如何用TensorFlow在安卓设备上实现深度学习,附Demo和源码

对于个人和公司来说,存在许多状况是更希望在本地设备上做深度学习推断的:想象一下当你在旅行途中没有可靠的互联网链接时,或是要处理传输数据到云服务的隐私问题和延迟...

2963
来自专栏量子位

谷歌终于推出TensorFlow Lite,实现在移动设备端部署AI

安妮 编译整理 量子位 出品 | 公众号 QbitAI 还得从半年前说起。 今年5月的谷歌I/O大会上,安卓工程副总裁Dave Burke宣布将推出一个专门为移...

3229

扫码关注云+社区

领取腾讯云代金券