特征,特征不变性,尺度空间与图像金字塔

特征

在计算机视觉领域,特征是为了完成某一特定任务需要的相关信息。比如,人脸检测中,我们需要在图像中提取特征来判断哪些区域是人脸、哪些区域不是人脸,人脸验证中,我们需要在两个人脸区域分别提取特征,来判断他们是不是同一个人,如下图所示,深度神经网络最终得到一个128维的特征用于识别等任务,图片来自Openface

常用的特征包括:图像灰度or灰度、直方图、梯度、边缘、纹理、矩、SIFT、深度学习特征等等。以关键点特征为例,关键点指的是可以稳定出现的特殊点,如角点、局部极值点等,如上图中人脸中眼鼻口处的关键点,先检测图像中的关键点,然后在以该点为中心的邻域范围内提取信息,作为该点的特征描述。关键点特征的好处在于,关键点可以稳定复现同时其特征描述聚焦在关键点邻域内,对遮挡、形变等有很好鲁棒性。以SIFT描述子为例,其将关键点周围的梯度统计直方图作为该点的特征,如下图所示,图片来自链接

不同的特征适用范围也不同,有些特征对光照敏感,有些特征对形变敏感,需要根据任务场景选择适合的特征——适合的才是最好的,不是什么时候都要上牛刀。如果任务场景简单,比如明确知道光照条件不变、人脸基本正面且表情妆容没有变化,可能直接使用灰度或梯度进行模板匹配就可以识别了,但如果场景复杂,光照可能变化、表情可能变化、人脸角度也不确定,那么为了完成任务,选取的特征就需要有较好的适应性,这就要谈到特征不变性

特征不变性

以上图为例,左右两图中玩具车的姿态不同、大小不同、图像亮度不同,对应局部(图中黄色小块)在各自图中的绝对位置不同、大小不同、方向不同、灰度不同,为了实现配准,就需要在局部提取的特征具有某些不变性,才能够匹配上。

  • 几何不变性(geometric invariance):平移,旋转,尺度……
  • 光度不变性(photometric invariance):亮度,曝光……

图像预处理通过对输入图像进行归一化(最大最小值归一化、均值方差归一化、直方图均衡化等),能在一定程度上做到对亮度或光照鲁棒。此外,在设计特征提取算法时,通过考虑相对信息和统计信息(比如梯度、直方图等),降低对灰度(颜色)绝对值的敏感度,可以进一步做到对亮度或光照鲁棒

通过使用局部窗口内的像素信息和相对位置信息局部特征一般都能做到平移无关。要做到旋转无关,则需要将窗口以某个主方向对齐后再提取局部特征,如图中倾斜的黄色小块,主方向可以是窗口内最集中的梯度方向。

接下来,讲述一下如何做到尺度无关

尺度空间

尺度,可以通过地图的比例尺来理解,如下图所示,如果以100米为单位进行观测(称为图100),箭头处有一个角点A,如果以5米为单位进行观测(成为图5),则A附近多了一个凹陷B,而这个凹陷B在图100中是看不见的,为什么呢?尺度空间理论认为是被平滑掉了,即低尺度下可以看清细节,高尺度下细节会被平滑掉只剩下更“宏观”的特征,因此可知

  • 特征是有尺度的,在某个尺度下B是关键点(图5中),但在更大的尺度下可能就不是了(图100中)
  • 需要在对应的尺度下提取特征,既然B仅在图5的尺度下是关键点,其特征自然需要在图5的尺度下提取

如果两幅图像的尺度不同该如何匹配?图100和图5中的A是同一个点,但因为尺度不同,邻域差异很大,在各自的邻域中提取的特征自然不同,为了让它们能匹配上,需要对图5构建尺度空间,获得不同尺度下的表达,具体怎么做呢?保持图5图像尺寸不变,不断(高斯)平滑,直到B处的凹陷平滑没了(与图100相似),达到与图100相近的尺度,图100中在A邻域内(比如\(10 \times 10\))提取特征(比如SIFT),图5中在A邻域内(\(200 \times 200\))提取特征,两者在各自图像中提取的SIFT特征长度相同(将领域划分成同样数量的子区域,然后在子区域中统计梯度直方图,某种程度上讲是对邻域窗口的归一化后再提取特征),这样就可以匹配上了。

平滑类似如下过程,最下面一行为原始信号,每一行对应一个尺度:

一般来讲,在没有先验知识的情况下,对两幅图像分别在每个尺度上检测关键点并提取特征,总有某些关键点及其特征正好来自相同的尺度,如果它们恰好可以匹配上,则图像1和图像2匹配,反之,如果所有关键点都配不上,则图像1和图像2不匹配。

小结一下:尺度空间,是在信号长度不变的情况下(如上图\(f(x)\)到\(f^t(x)\)),通过(高斯)平滑,获得信号在不同尺度下的表达,然后使用尺度对应大小的窗口进行观测和提取特征。因为获得了原始信号在所有尺度下的特征,这些特征在整体上做到了尺度无关——因为原始信号各种尺度的特征都有了。

图像金字塔

尺度空间中,不同尺度下观测窗口的像素尺寸是不同,还有另外一种情况,保持观测窗口大小不变,让图像尺寸发生变化。以人脸检测为例,通常训练结束后,方法中用到的滤波器、卷积核的参数和尺寸就固定了,因此提取到的特征只适用于检测像素大小在某个范围内的人脸,超出这个范围的人脸就检测不出来了。但是,在没有先验知识的情况下,输入图像中人脸的像素大小是未知的,不同输入图像中人脸的像素尺寸也可能不同,怎么办?这是就要用到图像金字塔,如下图所示,使用RCNN检测人脸,图像中的人脸有大有小,通过构建图像金字塔来检测,图片来自链接

构建图像金字塔,是为了获得图像在不同尺寸(不同分辨率)下的表达,通过不断重复 平滑+下采样 的过程(也有通过插值Resize),获得了不同像素尺寸的人脸图像,其中只要有与网络适配的人脸就可以被检测出来。

小结一下:图像金字塔,是在保持观测窗口不变的情况下,获得输入图像在不同尺寸(分辨率)下的表达,在不同尺寸上提取到的特征在整体上做到了尺寸(分辨率)无关。实际使用中,一般采用2倍下采样,即金字塔中图像长宽逐层折半。

细心的读者可能已经发现,尺度空间和图像金字塔存在着某种关联,有种一体两面的感觉,实际上两者可以联合在一起使用,我们以后再谈。

总结

本文的重点在于讲述 几种特征不变性以及实现特征不变性的途径,对尺度空间和图像金字塔只是做了直观的介绍,后面会单独写文章详细讲解。

参考

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

入门 | 区分识别机器学习中的分类与回归

31350
来自专栏机器之心

教程 | 单级式目标检测方法概述:YOLO与SSD

在这篇文章中,我将概述用于基于卷积神经网络(CNN)的目标检测的深度学习技术。目标检测是很有价值的,可用于理解图像内容、描述图像中的事物以及确定目标在图像中的位...

13210
来自专栏AI科技大本营的专栏

从YOLOv1到YOLOv3,目标检测的进化之路

这是继 RCNN,fast-RCNN 和 faster-RCNN之后,Ross Girshick 针对 DL 目标检测速度问题提出的另外一种框架。YOLO V1...

53630
来自专栏机器学习原理

机器学习(10)——线性SVM

支持向量机 Support vecor machine,SVM)本身是一个二元分类算法,是对感知器算法模型的一种扩展,现在的SVM算法支持线性分类和非线性分类的...

398100
来自专栏SnailTyan

YOLO,You Only Look Once论文翻译——中英文对照

You Only Look Once: Unified, Real-Time Object Detection Abstract We present YOLO...

35200
来自专栏CSDN技术头条

线性分类器 VS 非线性分类器

在这一小节,我展示了Naive Bayes和Rocchio这两个学习方法,它们都属于线性分类器,大概也是文本分类器中最重要的一组,接着我把它们和非线性分类器做了...

42250
来自专栏AI科技评论

零示例学习中的映射域迁移 (projection domain shift) 问题

AI 科技评论按:本文由上海交通大学副教授牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

27830
来自专栏计算机视觉life

SLIC 超像素分割详解(三):应用

看过上面的介绍后,我们应该思考一下:分割好的超像素有什么用?怎么用?用到哪里? 首先,超像素可以用来做跟踪,可以参考卢湖川课题组发表在IEEE TIP上的《Ro...

497100
来自专栏深度学习自然语言处理

【深度学习】你不了解的细节问题(四)

方法:我们生成两个 12 维高斯混合。高斯具有相同的协方差矩阵,但在每个维度都有一个由 1 隔开的均值。该数据集由 500 个高斯组成,其中 400 个用于训练...

13950
来自专栏机器学习算法与理论

浅谈神经网络

一、神经网络介绍 神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体作出的交互反应。 神经网络中最基本的成分...

38890

扫码关注云+社区

领取腾讯云代金券