在Android上用AI识别物体
在Android上用AI识别物体
AI其中一个很重要的应用就是物体识别。 今天我们来看看如何在Android上实现这个功能。
物体识别
物体识别包括两个方面，一个是物体位置识别，划出图片中的物体在什么位置。另一个是物体识别，告诉你这是个什么物体，是人是狗，是桌子还是鸟。
SSD
目前最优秀的物体识别神经网络能够识别1900多种物体。我们把这个网络落地到Android上看看它的效果怎样。
Android导入AI框架
要在Android上使用AI网络，首先需要集成能够解读AI网络的框架。 Google的Tensorflow在Android上做了专门的框架 - Tensorflow-Lite，它能够在移动端上高性能地运算AI模型。
首先需要在app的build.gradle里引入它
dependencies {
implementation 'org.tensorflow:tensorflow-lite:1.10.0'
}在Android使用tensorflow我们可以只关注它的 Interpreter 类， 这个类负责加载 AI模型，同时将图片进行运算，输出预算结果。
AI 的输入和输出
拿物体识别模型来说，这个模型能识别1000多种物体，那么它对一张图片的分析结果也会有1000多个输出对不对？
我们先简单地理解这个过程。假设这个模型能识别2种物体，分别是猫和狗，忽略物体的位置的话，那么它的输出结果应该是啥？
仔细想一下，它应该有下面三个输出
- background, background_posibillty
- cat, cat_posibillity
- dog, dog_posibility
翻译一下，这三个输出分别对应
- 没有猫狗的概率
- 有猫的概率，猫的位置
- 有狗的概率，狗的位置
于是我们可以构造下面的输出数据结构
float[][] labelProbArray = new float[3][1]三个维度分别表示三种物体的概率。 注意这里没有猫狗也必须当做一种情况，不然要是图片里没有猫狗的话它就只能在猫狗里挑一个，就乱套了。
至于输入就简单了，把Camera得到的bitmap当作输入就行。
下面看看怎么使用tensorflow的Interpreter。
开始分析图片
首先需要把AI网络塞进 Interpreter。
物体识别网络通常有两个模型来构成，一个是网络，另一个是标签。
网络是用来分析图片并输出结果的， 标签是用来描述网络能识别什么内容。因为正常来说，网络只能输出一个一维数组表示每个标签的概率，它并不会输出用文字描述的物体… 细想一下要是真这样的话那就恐怖了…
在我们的app中需要先把这两个东西放进去，下面这两个就是网络和标签了
assets
lite是网络模型，txt是标签。
初始化 Interpreter 的过程比较简单，代码如下
Interpreter tflite = new Interpreter(loadModelFile(activity));
/** Memory-map the model file in Assets. */
private MappedByteBuffer loadModelFile(Activity activity) throws IOException {
AssetFileDescriptor fileDescriptor = activity.getAssets().openFd(MODEL_PATH);
FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());
FileChannel fileChannel = inputStream.getChannel();
long startOffset = fileDescriptor.getStartOffset();
long declaredLength = fileDescriptor.getDeclaredLength();
return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength);
}分析的过程也相当简单，两行代码
tflite.run(imgData, labelProbArray);在分析结束后，labelProbArray 就保存了对图片的分析后各个可能存在的物体的概率。
源码下载
上面的内容比较零散，我这里整理了一个可以使用的app提供下载。 需要源码的小伙伴可以在公号回复”物体识别“来获取源码回去研究。
下面是AI app的截图。
phone
laptop