[005]frameworks/ml引发的思考

开篇

Android P上介绍了那么多有关AI的功能，但是真正看起来，Android上AI还处于初级阶段，Android 8.0之后的源码中有一个新增目录：frameworks/ml，ml是机器学习的缩写，这个目录的级别非常高，等同于frameworks/base

frameworks/ml的目录

目前frameworks/ml下只有nn目录，nn应该是Neural Networks（神经网络）的缩写，也就是说目前Android P目前只支持神经网络API

下面是Android Neural Networks API的介绍

总结： 1.目前只有NDK接口，没有JAVA接口，APP要用，只能通过JNI的方式使用。 Android Neural Networks API的App使用demo https://github.com/googlesamples/android-ndk/tree/master/nn_sample/app/src/main

2.目前Android Neural Networks API只实现了CPU的版本，并没有实现基于神经网络DSP或GPU的硬件加速，定义了HAL接口，需要平台或者硬件厂家去实现。

TensorFlow Lite和Android Neural Networks API的关系

TensorFlow Lite is TensorFlow’s lightweight solution for mobile and embedded devices. It enables on-device machine learning inference with low latency and a small binary size. TensorFlow Lite also supports hardware acceleration with theAndroid Neural Networks API. 简单的翻译一下： TensorFlow Lite是TensorFlow的轻量级的解决方案，用于移动手机和可穿戴设备，它可以在设备上以低延迟，小体积的方式来实现机器学习的接口，TensorFlow Lite支持硬件加速，通过Android Neural Networks API实现。

下图是TensorFlow Lite的结构图，可以知道TensorFlow Lite的安卓版本，底层实现会调用Android Neural Networks API，但是Android并不希望大家直接使用Android Neural Networks API，比较难用，容易出错，建议开发者通过类似TensorFlow Lite的ML库间接地调用Android Neural Networks API。

用一张图来表示Android Neural Networks API

APP：使用Tensorflow lite的应用 Framework：Tensorflow lite这类的ML库 Native Framework：Android Neural Networks API HAL：厂家根据Android Neural Networks API定义的HAL文件实现的硬件加速

思考

当我看到这个图的时候，我内心还是很兴奋的，除了对Android AI 的期待，更重要的是作为程序员能看到一个这么重要的模块从无到有的过程，而且整个功能贯串HAL-Native-Framework-APP，非常有助于程序员对整个Android架构设计的理解，通过对Android架构的学习，我感觉开发一套基于linux的手机操作系统并没有想象中的那么不可能，假如Android收费了，假如中美冷战了，说不准国人也会做出一款手机操作系统，那时候我相信我们Android程序员也不会被淘汰，因为操作系统的思想都差不多。

补充

仔细看了一下Android Neural Networks API的CPU实现，发现其中调用了大量Tensorflow lite的接口，所以我初步判断Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现，说完这句话，大家可能都有点绕晕了，前面说TensorFlow Lite安卓版本底层实现是调用Android Neural Networks API，这里又说Android Neural Networks API的CPU实现就是调用Tensorflow lite的CPU实现，到底谁调用谁的？

是不是有点懵，让我来编个故事，讲给大家听：

故事可能是这样子的，tensorflow lite项目初期要实现了一个基于CPU的矩阵的加法，但是由于CPU无法高效的并行运算，矩阵的加法效率并不高，tensorflow lite的高级工程师说可以优化，他通过代码的优化，让基于CPU的矩阵加法比我等初级工程师更加高效，过了一段时间，Android工程师说我们要在Android 8.0上发明一套ANN API框架，然后让硬件厂家来实现硬件加速，顺便告诉tensorflow lite工程师，以后你先判断一下手机上有没有ANN API框架，如果有，就调用ANN API框架来硬件加速计算矩阵加法，如果没有就调用你写的那套牛逼的CPU实现的矩阵加法。tensorflow lite工程师说这么棒，赶紧让tensorflow lite安卓版本的SDK基于ANN API框架实现了矩阵加法。正当Android工程师非常开心的时候，突然想要假如手机平台上显示有ANN API框架，但是这个手机OEM厂家并没有实现硬件加速，那不是坑了tensorflow工程师，所以必须写一个基于CPU版本的矩阵加法优化算法，正当Android工程师不知道怎么写的时候，Android工程师突然想到可以偷偷把tensorflow lite的工程师基于CPU实现矩阵加法的算法挪过来，然后作为一个CPU版本的虚拟硬件加速器不就好了嘛，机智如我

这里有一篇类似的介绍文档：https://blog.csdn.net/zhaizu/article/details/79416625