第四课：模型的使用

上一节我们创建了模型对象，也导入了测试集，可以说实现了一个简单机器学习的apk环境和核心代码。这一节我们一起看下开发一个完整的人工智能应用程序需要哪些步骤和代码。在详细分析代码之前我们先稍微看下有关 TensorFlow 的一些简单概念。

模型的一些概念

一个 TensorFlow 的计算任务叫做 Graph，一个 Graph 由很多节点（Op）组成， Op 通过 Tensor 获取输入，Op 完成计算以后再通过 Tensor 把输出传递到下一个节点。

Tensor 一般来说是一个数组（1 维或多维），我们用 Feed 操作，将一个 Tensor 的数据输入到一个 Op；用 Fetch 操作，将 Op 的输出提取到 Tensor 当中。

那么回到我们的项目中来，为了进行物体的识别，我们要做的就是在相应的 Op 中输入图片数据，然后从相应的 Op 提取识别结果。

那么可以这样说，我们向名为“image_tensor”的 Op 中输入图片数据， 然后从多个 Op 中获取识别结果，这样的 Op 有 4 个：

“detection_boxes”，输出识别物体的矩形框

“detection_scores”，输出识别物体的 Confidence，用来衡量识别得准确性有多大

“detection_classes”，识别物体的种类

“num_detections”，识别物体的数量

数据预处理

我们可以了解模型的简单概念，这不影响我们对机器学习框架是使用，可以就把模型当成一个黑盒子，我们只需要注意输入和输出是我们控制的数据，接下来就看下模型的输入数据，在数据输入的时候有时候需要我们对数据进行预处理。比如在将图片数据 Feed 到我们的模型之前，还需要对图片数据进行一些处理，将它转换为模型能够识别和处理的数据。我们用 Bitmap 作为最原始的输入数据，需要做下面的一些处理：

第一步是图片尺寸，每一个图片的长宽都是不一样的，但是我们希望把所有的输入图片都处理成一样的尺寸，如 300X300，所以需要写一些图片尺寸转换的代码，这样的代码如果不会写，在网上也可以找到很多现成的代码，下面也是从开源的代码里面参考来的转换函数：

这个函数会返回进行图片尺寸转换所需要的 Matrix 对象，这很有用，我们在后面可视化识别结果的时候用的着。然后通过下面的代码来完成转换：

第二步是将二维的位图数据转换为一维的数组，我们的模型接受的输入是由图片的像素点 RGB 值组成的一维数组，比如说有 2 个像素点（用（R,G,B）表示），（1，2，3）、（4，5，6），那么正确的输入数组应该是[1, 2, 3, 4, 5, 6]，可以通过下面的代码来完成：

先通过 getPixels 获取位图所有像素的一维数组，再通过位操作分别提取每个像素的 RGB 值，然后赋值到 byteInput 数组的相应位置中，byteInput 数组就是处理好的，准备 Inference 的数据。

模型的使用

通过调用 TensorFlowInferenceInterface 的 Feed 方法来向模型中输入数据：

这个代码的意思是向名为“image_tensor”的 Op 输入相应的数据(图片数据)，值为 byteInput，我们输入的是一张图片的数据，所以值为 1；图片的高和宽，都是 300 通道数，因为我们使用 RGB，所以值为 3。

接下来分配一些数组（Tensor）来准备接受 Inference 的结果，只取物体位置、分数、物体类型的数据，在这里最多取前 100 个识别结果(因为一个矩形框（box）是由（top、left、botton、right）的 4 元组表示的，所以 boxes 数组的大小应该是 100×4。)：

分配好数组以后，就可以开始 Inference，并从相应的 Op 里面提取识别结果，代码如下：

我们使用 TensorFlowInferenceInterface 的 run 方法来启动从之前用 Feed 注册的输入节点（image_tensor）到由参数指定的输出节点（detection_boxes，detection_scores，detection_classes）的 Inference， 对我们来说，就是从输入的图片数据，识别出物体的位置、类别和分数。然后用 Fetch 方法来提取相应的输出数据。

现在我们已经得到了识别结果，下一节我们一起把结果可视化，并把完整的apk源码分享给大家。