第五课:推理结果的可视化

处理推理结果

在上一课时中,已经通过 Inference 获取到了识别结果,存放在三个数组里:

那么数据的结构是这样的,第一个识别物体的类别是 classes[0],分数为 scores[0],物体的位置(top、left、bottom、right)为(boxes[0]、boxes[1]、boxes[2]、boxes[3])依次类推。 但是要注意的是物体的位置的值是 Normalized 的,还需要特殊处理一下。

Normalize 也叫标准化、正则化,或者归一化,是机器学习中的一个重要概念,在这里不做更多的深入的探讨,只需要记住它的作用是把一个数值按照一定算法投影到(0,1] 这个区间里面,这是一个在机器学习中会经常碰到的术语。

因为物体位置的数值是 Normalized 的,它们都是(0,1]区间里面的小数,而我们输入的图片是 300×300 的尺寸,所以需要把这些值都乘以 300 来获取它在图片里面的真实位置。那么现在可以得出,在输出数据中第 i(i 从 0 开始)个识别得物体的数据为:

分数: scores[i]

物体名称: labels[classes[i]] (labels 为之前从labels.txt中读取的标签数组)

物体位置:(boxes[i] * 300, boxes[i + 1] * 300, boxes[i+ 2] * 300, boxes[i + 3] *300)

接下来我们需要把得分低的输出项剔除掉,这个分数是(0,1]之间的一个数(看,也是 Normalized 的),越高越好。如果模型推理出来一个物体是人,但是得分只有 0.1,那么实际上有可能这个物体不是人。所以我们需要有一个分数的阈值,大于这个阈值的识别结果才被认为是正确的。这个阈值的选择是一个经验问题,在这里选择 0.6 作为分数的阈值,这样就把那些我们认为识别度不够的结果排除了。同时之前为 100 个识别结果分配了存储空间,如果识别结果中的物体小于 100,那么有一些数组元素就是空值(0),这样的话我们把这些空值也排除掉了。

接下来就开始写代码了,在这里写了一个类来封装识别的结果:

这个类代表一个单独的被识别出来的物体,接下来根据识别结果来生成 DetectionResult 的 List:

注意,RectF 构造函数接受的参数是(left、top、right、bottom),而我们 boxes 数组中的位置是(top、left、bottom、right),传参的时候顺序不要弄错了。

推理结果的可视化

现在有了识别物体的位置和名称,我们只需要在原始图片的相应位置上面画上边框,写上名称就可以啦!

首先将原始图片 copy 一份,然后在这个 copy 上面画上边框,写上名称:

获取 Canvas 对象,设置边框的宽度和颜色,设置显示名称的字体大小和颜色:

在往 Canvas 上面画图之前,不要忘了输入给模型的是一个根据原始图片经过转换而得到的 300×300 的图片,所以我们识别结果里面的位置指的是物体在这个 300×300 的图片上的位置,如果把这个位置画在原图上面,显然是不正确的。

还记得之前我们转换原始图片时是使用一个矩阵(Matrix)来转换的吗? 现在只需要把这个矩阵 Invert 一下,然后再在我们识别出来物体的位置矩形上面用这个矩阵进行转换,就可以得到物体在原始图片上的位置了!代码如下:

获取 Invert 的矩阵之后,就可以依次把识别结果在原图上用方块标识出来了:

使用 mapRect 方法对矩形框进行转换,同时在框的左上角写上物体的名称,然后调用:

将结果显示在 ImageView 上面。

效果展示

这样就完成了任务,没有任何机器学习基础的我们在 Android 上面实现了一个可以识别静态图片中的物体的应用,来看一下效果吧。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171227G02VUG00?refer=cp_1026

扫码关注云+社区