iOS MachineLearning 系列（8）—— 图片热区分析

iOS MachineLearning 系列（8）—— 图片热区分析

对图片进行热区分析可以帮助我们图片中可能会受关注的区域，也可以获取到图片中需要被关注的事物的区域。

Vision框架中提供了两种热区分析的方式。

• 关注区分析
• 对象区分析

1 - 关注区分析

关注区分析请求使用VNGenerateAttentionBasedSaliencyImageRequest创建，此类没有特殊需要配置的，其继承自VNImageBasedRequest类，因此可以直接使用VNImageRequestHandler句柄来进行发起。返回的分析结果为VNSaliencyImageObservation对象，定义如下：

open class VNGenerateAttentionBasedSaliencyImageRequest : VNImageBasedRequest {
    // 关注区对象
    open var results: [VNSaliencyImageObservation]? { get }
}

VNSaliencyImageObservatio定义如下：

open class VNSaliencyImageObservation : VNPixelBufferObservation {
    open var salientObjects: [VNRectangleObservation]? { get }
}

下图展示了关注区分析的效果：

可以看到，分析出的关注区基本是图片中内容最丰富的区域，也是我们在观察图片时最先关注到的。需要注意，分析出的关注区不一定会完整的包含图片中的物体。

2 - 物体区分析

物体区分析与关注区分析唯一的区别在于请求的创建，物体区分析使用VNGenerateObjectnessBasedSaliencyImageRequest类进行创建。下图演示了物体区分析的效果。

可以看到，针对猫狗的那张图片，关注区分析得到的结果是相对居中的位置，物体区分析得到的结果会完整的包含猫狗的边界。

在实际应用中，我们可以通过这些分析能力来对图像的部分进行视觉增强。

完整的示例代码可以在如下地址找到：

https://github.com/ZYHshao/MachineLearnDemo

备注：Vision框架中的很多AI能力可能无法在模拟器上很好的进行。