迁移学习最新进展之传递学习和深度学习简介

传递迁移学习

传统的迁移学习对源数据和目标数据所在的领域有较强的限制条件，要求样本、特征或者数据间蕴含的关系有较强的相似性。该约束条件是迁移学习的思想基础，但同时也限制了迁移学习的进一步发展和更广泛的应用。因此，研究源数据和目标数据在弱相似性或者是看起来完全“不相似”情境下的传递迁移学习（transitive transfer learning）成为拓宽迁移学习应用范围的关键。

在传递迁移学习框架中，我们需要通过一个或多个中间数据所拥有的知识，将两个不相关或是弱相关的源数据和目标数据联系在一起，形成一种知识的链式迁移。其针对的源数据和目标数据包括文本和图像数据，还包括属于同一类型但是语义完全不同的数据，通过联合矩阵分解或是深度神经网络等方法实现相互连接的具有弱相似性的知识迁移。目前已经有研究通过传递迁移学习实现了飞机图片和人脸图片这种弱相关的数据之间的知识迁移。传递迁移学习不仅冲击了传统迁移学习的约束，也为数据难获取，或数据量有限的小样本数据学习创造了新的技术视角和新的可能。

深度迁移学习

另一个与迁移学习相关的前沿研究是将深度学习与迁移学习结合起来。通过对深度学习模型的研究，人们发现对于相似的学习任务，虽然模型的最终目标可能不同，但模型前几层却常常具有相似的功能。这种相似的功能显示了深度学习模型前几层具有的可在多种目标数据间迁移的通用性。利用深度学习这一特点设计的迁移学习技术，一般被称为深度迁移学习。

图像识别是深度迁移学习的典型应用。针对不同图像识别任务（如车辆识别、人脸识别等）训练的深度学习模型，其前几层均有提取图像纹理的功能，而对图像纹理的有效提取则是各类图像识别任务的共同基础。因此，当需要进行某类图像识别任务而缺乏足够的支撑深度学习技术的大量标注数据时，可将用于识别其他类型图像的深度学习模型迁移过来。例如，2017年发表在《自然》杂志的一项成果，就利用了基于128万余张涉及千余类物品的图像训练的深度学习模型，通过深度迁移学习技术，仅用12万余张标注的皮肤癌图片，就训练出了优于人类专家的皮肤癌识别模型。此外，深度迁移学习在时空预测等领域也有应用。例如，预测城市交通状况是智慧城市管理的重要基础之而一些欠发达城市缺乏足够的数据支撑深度学习技术的应用。这种情况就可以使用深度迁移学习，将在其他发达的、数据丰富的城市学习到的深度模型迁移到数据缺乏的城市中去。