专栏首页王小二的Android站[005]frameworks/ml引发的思考

[005]frameworks/ml引发的思考

开篇

Android P上介绍了那么多有关AI的功能,但是真正看起来,Android上AI还处于初级阶段,Android 8.0之后的源码中有一个新增目录:frameworks/ml,ml是机器学习的缩写,这个目录的级别非常高,等同于frameworks/base

frameworks/ml的目录

目前frameworks/ml下只有nn目录,nn应该是Neural Networks(神经网络)的缩写,也就是说目前Android P目前只支持神经网络API
下面是Android Neural Networks API的介绍

总结: 1.目前只有NDK接口,没有JAVA接口,APP要用,只能通过JNI的方式使用。 Android Neural Networks API的App使用demo https://github.com/googlesamples/android-ndk/tree/master/nn_sample/app/src/main

2.目前Android Neural Networks API只实现了CPU的版本,并没有实现基于神经网络DSP或GPU的硬件加速,定义了HAL接口,需要平台或者硬件厂家去实现。

TensorFlow Lite和Android Neural Networks API的关系

TensorFlow Lite is TensorFlow’s lightweight solution for mobile and embedded devices. It enables on-device machine learning inference with low latency and a small binary size. TensorFlow Lite also supports hardware acceleration with theAndroid Neural Networks API. 简单的翻译一下: TensorFlow Lite是TensorFlow的轻量级的解决方案,用于移动手机和可穿戴设备,它可以在设备上以低延迟,小体积的方式来实现机器学习的接口,TensorFlow Lite支持硬件加速,通过Android Neural Networks API实现。

下图是TensorFlow Lite的结构图,可以知道TensorFlow Lite的安卓版本,底层实现会调用Android Neural Networks API,但是Android并不希望大家直接使用Android Neural Networks API,比较难用,容易出错,建议开发者通过类似TensorFlow Lite的ML库间接地调用Android Neural Networks API。

用一张图来表示Android Neural Networks API

APP:使用Tensorflow lite的应用 Framework:Tensorflow lite这类的ML库 Native Framework:Android Neural Networks API HAL:厂家根据Android Neural Networks API定义的HAL文件实现的硬件加速

思考

当我看到这个图的时候,我内心还是很兴奋的,除了对Android AI 的期待,更重要的是作为程序员能看到一个这么重要的模块从无到有的过程,而且整个功能贯串HAL-Native-Framework-APP,非常有助于程序员对整个Android架构设计的理解,通过对Android架构的学习,我感觉开发一套基于linux的手机操作系统并没有想象中的那么不可能,假如Android收费了,假如中美冷战了,说不准国人也会做出一款手机操作系统,那时候我相信我们Android程序员也不会被淘汰,因为操作系统的思想都差不多。

补充

仔细看了一下Android Neural Networks API的CPU实现,发现其中调用了大量Tensorflow lite的接口,所以我初步判断Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现,说完这句话,大家可能都有点绕晕了,前面说TensorFlow Lite安卓版本底层实现是调用Android Neural Networks API,这里又说Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现,到底谁调用谁的?

是不是有点懵,让我来编个故事,讲给大家听:

故事可能是这样子的,tensorflow lite项目初期要实现了一个基于CPU的矩阵的加法,但是由于CPU无法高效的并行运算,矩阵的加法效率并不高,tensorflow lite的高级工程师说可以优化,他通过代码的优化,让基于CPU的矩阵加法比我等初级工程师更加高效,过了一段时间,Android工程师说我们要在Android 8.0上发明一套ANN API框架,然后让硬件厂家来实现硬件加速,顺便告诉tensorflow lite工程师,以后你先判断一下手机上有没有ANN API框架,如果有,就调用ANN API框架来硬件加速计算矩阵加法,如果没有就调用你写的那套牛逼的CPU实现的矩阵加法。tensorflow lite工程师说这么棒,赶紧让tensorflow lite安卓版本的SDK基于ANN API框架实现了矩阵加法。正当Android工程师非常开心的时候,突然想要假如手机平台上显示有ANN API框架,但是这个手机OEM厂家并没有实现硬件加速,那不是坑了tensorflow工程师,所以必须写一个基于CPU版本的矩阵加法优化算法,正当Android工程师不知道怎么写的时候,Android工程师突然想到可以偷偷把tensorflow lite的工程师基于CPU实现矩阵加法的算法挪过来,然后作为一个CPU版本的虚拟硬件加速器不就好了嘛,机智如我

这里有一篇类似的介绍文档:https://blog.csdn.net/zhaizu/article/details/79416625

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [046]块设备驱动初探

    研究IO也很久了,一直无法串联bio和块设备驱动,只知道bio经过IO调度算法传递到块设备驱动,怎么过去的,IO调度算法在哪里发挥作用,一直没有完全搞明白,查看...

    王小二
  • [015]ANR视角InputDispatcher

    有好多人向我咨询过Input ANR问题,说实话,我也是一直无法彻底的解释清楚,我下决心要彻底搞懂这块知识点。

    王小二
  • [035] onStop提前投放问题

    最近遇到一个奇葩的问题,应用X的Activity1中点击一个Button跳转到Activity2,手机A比手机B上快500ms左右,虽然手机A比手机B的配置高,...

    王小二
  • 机器学习为核心,DeepMind助力谷歌开发的安卓 9「Pie」今日上线

    今年 5 月份,谷歌 I/O 大会宣布推出安卓 9,而后经过数月的测试,谷歌收获了大量的反馈。此外,还有小米、Oppo 等 7 家设备制造商也将测试版本放到了他...

    机器之心
  • x86-TSO : 适用于x86体系架构并发编程的内存模型

      如今大数据,云计算,分布式系统等对算力要求高的方向如火如荼。提升计算机算力的一个低成本方法是增加CPU核心,而不是提高单个硬件工作效率。

    执生
  • Permissions API

    如果你以前使用过Geolocation API,那么你很可能希望可以检查自己是否有权限来使用Geolocation API并且不展示确认框。这个简单的愿望目前是...

    mmzhou
  • HGAME-Week3-Pwn

    可以看到程序在申请chunk的函数中申请了长度为0x80的块,但是在edit函数中允许输入0x100的长度,因此存在unlink漏洞,思路是伪造chunk,然后...

    安恒网络空间安全讲武堂
  • Seurat:用于分析10X单细胞转录组数据的R包

    Seurat是一个分析单细胞转录组数据的R包,提供了t-SNE降维分析,聚类分析,mark基因识别等多种功能,网址如下

    生信修炼手册
  • 01 . RPC简介原理及用Go实现一个RPC

    常见_youmen
  • Stanford's CS 229机器学习技巧和秘诀(完整版)

    相信经常混Machine Learning各大学习圣地的朋友们多少有听说过斯坦福大学的CS229机器学习课程(Stanford's CS 229 Machine...

    Sam Gor

扫码关注云+社区

领取腾讯云代金券