作者 | Lu Wang、Chen Cen、Arun Venkatesan 和 Khanh LeViet
Android Studio仍然在疯狂更新中，隔一段时间打开Android Studio，就会提示有新版本，对此我已经见怪不怪。一般而言，我会顺手点击一下升级。今天我又点击了升级，粗略看了一下新版本4.1的特性说明，其中有一项是：使用TensorFlow Lite模型。出于对机器学习的兴趣，于是就研究了一番这个新特性。
随着对计算机视觉的用例日益增长的兴趣，例如无人驾驶汽车，面部识别，智能交通系统等，人们希望建立定制的机器学习模型以检测和识别特定对象。
大家好，很高兴能够参与这次腾讯云AIoT应用创新大赛，非常希望能够在这次比赛中得到收获与提升，同时也希望能够通过这次比赛能与各位交流学习。
嵌入式系统已经成为我们生活中不可或缺的一部分，从智能手机到家用电器，几乎每个设备都搭载了嵌入式技术。随着人工智能的快速发展，将神经网络应用于嵌入式设备上变得越来越普遍。本文将深入探讨嵌入式人工智能的现状，以及神经网络在边缘设备上的应用。
是否能够更快地训练和提供对象检测模型？我们已经听到了这种的反馈，在今天我们很高兴地宣布支持训练Cloud TPU上的对象检测模型，模型量化以及并添加了包括RetinaNet和MobileNet改编的RetinaNet在内的新模型。本文将引导你使用迁移学习在Cloud TPU上训练量化的宠物品种检测器。
作者：Prerna Khanna、Tanmay Srivastava、Kanishk Jeet
它允许您使用一组TensorFlow操作并注释构造，以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。这允许在较低级别的TensorFlow实现中嵌入高级API使用信息，以便以后可以替换其他实现。本质上，这个伪op中的任何“输入”都被输入到一个标识中，并且属性被添加到该输入中，然后由构成伪op的组成ops使用。
现代社会中，随着车辆的普及，人的活动范围在逐步扩大，单单依靠人类记忆引导行驶到达目的地已经越来越不切实际，因此车载导航就扮演了越来越重要的角色。
同时，产品团队也重构了文档结构，更新了安装和应用场景文档，方便用户快速找到有用的文档信息。
如果您使用过 TensorFlow 1.x，则本部分将重点介绍迁移到 TensorFlow 2.0 所需的总体概念更改。 它还将教您使用 TensorFlow 可以进行的各种 AIY 项目。 最后，本节向您展示如何将 TensorFlow Lite 与跨多个平台的低功耗设备一起使用。
Android Studio 4.1 主要是包含了各种新功能和改进，其中 Android Gradle 插件也升级为 4.1.0，要了解更多信息请查看完整的 Android Gradle 插件发行说明：https://developer.android.com/studio/releases/gradle-plugin#4-1-0
本文翻译自：《Optimizing AI models for Arm Ethos-U NPUs using the NVIDIA TAO Toolkit》
我们尝试去工程化深度神经网络并最终落地，当中的一些实践经验通过本文记录下来。
濒危动物的追踪识别一直是动物保护和研究的难题，传统的跟踪手法主要是通过研究濒危动物的分布，根据动物的粪便，食物，大致定位动物可能的活动范围，再布置摄像机进行24小时监控，效率较低，尤其是24小时的摄录监控，需要占用大量的存储卡以及需要人工进行繁重的筛选，也不利于大范围分布式布点跟踪。
本教程介绍如何使用 tf.Keras 时序 API 从头开始训练模型，将 tf.Keras 模型转换为 tflite 格式，并在 Android 上运行该模型。我将以 MNIST 数据为例介绍图像分类，并分享一些你可能会面临的常见问题。本教程着重于端到端的体验，我不会深入探讨各种 tf.Keras API 或 Android 开发。
我们知道大多数的 AI 是在云端运算的，但是在移动端使用 AI 具有无网络延迟、响应更加及时、数据隐私等特性。
TensorFlow Lite 是用于移动设备和嵌入式设备的轻量级解决方案。TensorFlow Lite 支持 Android、iOS 甚至树莓派等多种平台。
TinyML最近几年才提出，TinyML的书去年才见到，中文版今年在国内才买到。TFLite micro技术也就今年左右才成熟。之前所有的依靠动物身上传感器进行姿态识别的，有一说一，应该都是经典的特征抽取，加上随机森林之类的经典算法实现的。实现起来，需要领域专家进行特征抽取，选择特征反复迭代；部署嵌入式由于实现困难有可能返回去修改模型，重新搞一套；解决完一个问题，新问题又得再来一次流程....
TensorFlow 模型还可用于在移动和嵌入式平台上运行的应用。 TensorFlow Lite 和 TensorFlow Mobile 是资源受限移动设备的两种 TensorFlow。与 TensorFlow Mobile 相比，TensorFlow Lite 支持功能的子集。由于较小的二进制大小和较少的依赖项，TensorFlow Lite 可以获得更好的表现。
The TensorFlow Lite Model Maker library simplifies the process of adapting and converting a TensorFlow neural-network model to particular input data when deploying this model for on-device ML applications. 解读: 此处我们想要得到的是 .tflite 格式的模型，用于在移动端或者嵌入式设备上进行部署
NXP eIQ平台提供了嵌入式平台集成化的机器学习应用部署能力，支持BYOD（Bring Your Own Data）和BYOM（Bring You Own Model）的两种建模应用的工作流。
Tensorflow2之后，训练保存的模型也有所变化，基于Keras接口搭建的网络模型默认保存的模型是h5格式的，而之前的模型格式是pb。Tensorflow2的h5格式的模型转换成tflite格式模型非常方便。本教程就是介绍如何使用Tensorflow2的Keras接口训练分类模型并使用Tensorflow Lite部署到Android设备上。
以前tensorflow有bug 在winodws下无法转，但现在好像没有问题了,代码如下
对于开发者来说，在移动设备上运行预先训练好的模型的能力意味着向边界计算(edge computing)迈进了一大步。[译注：所谓的边界计算，从字面意思理解，就是与现实世界的边界。数据中心是网络的中心，PC、手机、监控照相机处在边界。]数据能够直接在用户手机上处理，私人数据仍然掌握在他们手中。没有蜂窝网络的延迟，应用程序可以运行得更顺畅，并且可大幅减少公司的云服务账单。快速响应式应用现在可以运行复杂的机器学习模型，这种技术转变将赋予产品工程师跳出条条框框思考的力量，迎来应用程序开发的新潮流。
在本节中，您将基于从上一节中获得的理解，并开发更新的概念并学习用于动作识别和对象检测的新技术。 在本节中，您将学习不同的 TensorFlow 工具，例如 TensorFlow Hub，TFRecord 和 TensorBoard。 您还将学习如何使用 TensorFlow 开发用于动作识别的机器学习模型。
对于Tensorflow最大需求是能够在桌面系统中训练并运行模型，这种需求影响了很多设计决策，例如为了更低的延迟和更多的功能而增加可执行文件的大小。云端服务器上，RAM以GB为衡量单位，存储空间以TB为单位，几百兆字节的二进制文件通常不是问题。
随着软硬件技术的发展，智能穿戴式设备逐渐从概念走向商用化。在过去几年内，Google、Apple以及Sony等科技公司在体积、功耗控制以及成本等方面做得越来越好，推出了一大批可穿戴产品，具有代表性的成果有：1. 智能手环：产品具备运动监测、睡眠监测、心率测量以及震动唤醒等功能；2. 智能眼镜：广泛应用于VR、AR领域。
原先识别人体骨骼，使用的Google的 MLKit 框架 。方便简单，直接通过Gradle添加相关依赖库。就可以使用了。
边缘计算时代离我们越来越近，当前嵌入式设备的智能框架还是 TensorFlow Lite比较成熟，这里我准备用一系列免费课程和大家一起讨论下 TensorFlow Lite在移动设备上的应用，让我们的设备智能起来。
大家好，我是来自Google Research的高级软件工程师汪启扉，首先感谢LiveVideoStack邀请我在此处演讲。今天，我的主题是高效终端设备机器学习的最新进展 。
利用深度神经网络，提取印章深度特征，同时学习印章之间的相似度，自己与自己相似，自己与其它不相似。
不过从我对文档的理解来看，感觉更像是添加的一种硬件后端（代理我想应该只是调用调用层面，不是底层实现，另外在Hexagon DSP的委托代理部分，文档坦言说Hexagon DSP的代理就是为了补充NNAPI，特别是针对那些NNAPI不可用DSP加速的、老旧驱动的设备，毕竟这些老旧设备也没有NNAPI这个东西，但有DSP硬件），交给模型的子图来去执行。比方原始模型的CPU执行Graph如上图。交给GPU的委托代理后，原Graph变为下面这样：
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。今天主要是利用tflite来跑一下这个量化算法，量化一个最简单的LeNet-5模型来说明一下量化的有效性。tflite全称为TensorFlow Lite，是一种用于设备端推断的开源深度学习框架。中文官方地址我放附录了，我们理解为这个框架可以把我们用tensorflow训练出来的模型转换到移动端进行部署即可，在这个转换过程中就可以自动调用算法执行模型剪枝，模型量化了。由于我并不熟悉将tflite模型放到Android端进行测试的过程，所以我将tflite模型直接在PC上进行了测试（包括精度，速度，模型大小）。
https://mp.weixin.qq.com/s/ASnaFA7D4jfHWoO_IqQ6aQ
11 月， eKuiper 团队转入 1.8.0 版本的开发周期之中，目前已完成了一部分实用的新功能：添加了视频流 source，将边缘流式处理能力扩展到视频流领域，可以处理摄像头的视频流或者网络中的直播视频流；发布了通用的 tfLite 函数，用户只需上传训练好的 Tensor Flow Lite 模型，无需额外编写插件或代码即可在 eKuiper SQL 中调用模型进行流数据的 AI 推断，进一步简化了 AI/ML 处理的难度；针对边缘环境运维不便的特点进一步优化了规则自动化运维的能力，为规则添加了自动重启策略的配置，Portable 插件添加了热更新功能；继续完善了有状态分析函数的支持，增加 WHEN 子句进行按条件计算。
update：在 0x08. 中更新了代码 + 视频 + PPT 以保证作品完整性
GitHub 地址：https://github.com/edvardHua/PoseEstimationForMobile
本文最初发表在 Towards Data Science 博客，经原作者 Ran Rubin 授权，InfoQ 中文站翻译并分享。
工业视觉缺陷检测系统是一种利用计算机视觉技术，通过分析生产过程中的图像和视频数据，来检测工业产品是否存在缺陷或质量问题的系统。有幸参与到Aidlux夏令营活动中，跟着东哥做了医疗注射器缺陷检测系统项目，在这个过程中我收获到了很多之前没有接触到的算法和实践。本项目旨在开发一种高效的工业视觉缺陷检测系统，利用YOLOv8模型进行目标检测，并基于AidLux平台完成本地终端部署推理，以满足工业生产中对产品质量控制的需求。
TensorFlow Lite是一款专门针对移动设备的深度学习框架，移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接口，大大减少了预测时间。在前几篇文章中已经介绍了百度的paddle-mobile，小米的mace，还有腾讯的ncnn。这在本章中我们将介绍谷歌的TensorFlow Lite。
2018 年 9 月 21 日 ，凌钰城（Google Brain 软件工程师）带来一场《TensorFlow Lite：TensorFlow在移动设备与嵌入式设备上的轻量级跨平台解决方案》的演讲，本文将对演讲做一个回顾。
TensorFlow Lite是TensorFlow针对移动和嵌入式设备的轻量级解决方案。它可以在移动设备上高效运行机器学习模型，因此您可以利用这些模型进行分类、回归或其他功能，而无需和服务器交互。
在深度学习算法优化系列三 | Google CVPR2018 int8量化算法 这篇推文中已经详细介绍了Google提出的Min-Max量化方式，关于原理这一小节就不再赘述了，感兴趣的去看一下那篇推文即可。昨天已经使用tflite测试了训练后量化，所以今天主要来看一下训练时量化时怎么做的。注意训练中的量化实际上是伪量化，伪量化是完全量化的第一步，它只是模拟了量化的过程，并没有实现量化，只是在训练过程中添加了伪量化节点，计算过程还是用float32计算。然后训练得出.pb文件，放到指令TFLiteConverter里去实现第二步完整的量化，最后生成tflite模型，实现int8计算。
AidLux是成都阿加犀智能科技有限公司自主研发的融合架构操作系统，支持Android/鸿蒙和Linux系统的生态融合。其核心优势包括操作系统多样性、广泛芯片适配、以及AI模型转换和计算单元调度的高效性。
目标是想把在服务器上用pytorch训练好的模型转换为可以在移动端运行的tflite模型。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
