段岳圻：非监督二值视觉特征学习

非监督二值视觉特征学习

Unsupervised Binary Visual Representation Learning

作 者：段岳圻

指导教师：周杰

培养院系：自动化系

学 科：控制科学与工程

读博感言：时间花在哪里，进步就在哪里

研究背景/选题意义/研究价值

视觉是智能体从外界环境感知信息的重要基础，特征提取在如识别、匹配、搜索等多项计算机视觉应用中扮演着关键的角色。随着大数据时代的到来以及计算设备的不断发展，特征学习方法逐渐超越手工特征设计方法，成为了研究的主流。现有研究大多关注监督实值特征学习方法，但监督学习对标注数据依赖性强，人力、物力成本开销大；高维实值特征存储、匹配效率低，对计算设备能力要求高，在智能机器人及移动设备等应用中存在瓶颈。本文对非监督二值视觉特征学习方法展开研究，采用非监督学习的方式充分利用大量未标注原始训练数据，并使用紧致二值特征替代高维实值特征进行高效表示，有效克服上述瓶颈。

主要研究内容

对于二值特征，二值化是以量化信息损失为代价增强特征高效性的重要步骤。本文设计了非监督多量化深度网络以学习数据自适应的二值化方法。相对于手工设计阈值的方法，多量化能够利用每位特征的整体分布，从而得到更为精准的二值化结果。

图1 多量化非监督二值特征

现有方法未挖掘二值特征位与位的关系，导致每位特征包含信息量较少，大量特征位于量化阈值边界，表达精准度低。本文对码相关非监督二值特征学习方法展开研究，利用特征内部其他位提供重要的补充信息，增强二值特征的精准性。

图2 码相关非监督二值特征

主要创新点

1. 针对量化信息损失大的问题，提出多量化非监督二值特征学习方法。该方法设计了深度K-自编码网络，采用多量化的方式学习数据适应的二值化过程，最小化二值特征的量化信息损失。该方法进一步引入了特征维度间竞争以获得更优的码长分配，采用更多的码字描述信息量丰富的维度，对数据进行充分的描述。

2. 针对视觉表达精度低的问题，提出码相关非监督二值特征学习方法。该方法首先设计了上下文联系的二值特征，并进一步对深度图二值特征展开研究，采用有向无环图替代向量进行特征表示，设计深度强化学习算法挖掘图结构，增强特征的可靠性。

3. 针对特征旋转鲁棒差的问题，提出旋转不变非监督二值特征学习方法。该方法设计了旋转二值模式算子，描述图像的角度信息，并联合学习图像的旋转角度及投影矩阵，获得旋转不变二值特征。

代表性创新成果

1.Yueqi Duan, Jiwen Lu, Ziwei Wang and Jie Zhou, Learning Deep Binary Descriptor with Multi-Quantization, TPAMI, 2019, 41(8):1924-1938.

2.Yueqi Duan, Jiwen Lu, Jianjiang Feng and Jie Zhou, Context-Aware Local Binary Feature Learning for Face Recognition, TPAMI, 2018, 40(5):1139-1153.

3.Yueqi Duan, Jiwen Lu, Jianjiang Feng and Jie Zhou, Learning Rotation-Invariant Local Binary Descriptor, TIP, 2017, 26(8):3636-3651.

4.Yueqi Duan, Ziwei Wang, Jiwen Lu, Xudong Lin and Jie Zhou, GraphBit: Bitwise Interaction Mining via Deep Reinforcement Learning, CVPR, 2018, 8270-8279.

5.Yueqi Duan, Jiwen Lu, Ziwei Wang, Jianjiang Feng and Jie Zhou, Learning Deep Binary Descriptor with Multi-Quantization. CVPR, 2017, 4857-4866.

作者：段岳圻

图片：段岳圻

编辑：清华大学研究生院 吴佳瑛 李文

转载须经作者同意授权