基于元学习的小样本训练「元学习」「AI工程落地」

作者：Curry 来源：知乎

专栏地址：https://www.zhihu.com/column/c_1258398000180768768

转载请联系作者

编者按：本文来自知乎的高赞回答，少样本的情况在工业界，尤其是特定的细分领域是比较普遍的现象，希望对大家有所启发。文末有答主的知乎专栏，欢迎关注。

问题

现在有个需求，要求区分图片是否相似，我训练集可以有几千类，但是每一类只有2张图。

再补充一下，其实我是做匹配，每一类相似的图只有2张。

高赞回答

介绍介绍两篇基于元学习方法在现实场景的应用论文。

论文一：Relation-aware Meta-learning for Market Segment Demand Prediction with Limited Records

应用场景：大型电子商务平台（如亚马逊、淘宝）已经显著改变了我们的生活。要建立一个更高效的电子商务平台，最根本的问题之一就是如何平衡市场的供求关系，这就要求对每个细分市场（如钱包、腰带）建立准确的需求预测模型。不幸的是，如图所示，大部分细分市场都是长尾型的，而且只有有限的记录，这导致预测性能不理想。

近年来，电子商务平台对人类生活产生了广泛的影响。要提供一个高效的平台，最根本的问题之一就是如 何平衡细分市场的需求和供给。虽然传统的机器学习模型在数据充足的领域取得了巨大的成功，但在电子 商务平台中，由于没有足够的记录来学习经过良好训练的模型，它可能会在很大程度上失败。

在本文中， 我们在细分市场需求预测的背景下解决这个问题。目标是利用从数据充足的源段学习到的知识，即使在相 关训练数据不足的情况下，也能促进目标细分市场的学习过程。具体地说，我们提出了一种新的算法 RMLDP，将多模式融合网络（MPFN）与元学习范式结合起来。多模式融合网络考虑了局部和全局的时间 模式来进行分段需求预测。在元学习范式中，可转移知识被视为MPFN的模型参数初始化，从不同的源段 学习。此外，我们将数据驱动的分段表示与分段知识图表示相结合来获取分段关系，并根据分段关系定制可转换模型参数的初始化。因此，即使在有限的数据下，目标段也能快速找到最相关的知识转移，并适应 最佳参数。

在两个大型工业数据集上进行了大量的实验。结果表明，我们的RMLDP优于一组最先进的基 线。此外，RMLDP还被部署在现实世界的电子商务平台淘宝网上。在线A/B测试结果进一步证明了 RMLDP的实用性。

Contributions主要有以下三个方面：

• 利用主流市场的知识来研究有限数据下的细分市场需求预测问题的。
• 开发了一个新的框架RMLDP，以解决细分市场的需求预测任务。RMLDP结合了一个具有元学习范式的多 模式融合网络。在元学习范式中，进一步提取片段关系以定制模型参数初始化。并将所提出的方法应用于 在线平台。
• 收集了两个大型电子商务平台的市场需求记录：聚划算和天天特卖。与基线方法相比，RMLDP的优越性能 证明了该框架在离线和在线场景下的有效性。

论文二：Learning from Multiple Cities: A Meta-Learning Approach for Spatial-Temporal Prediction

应用场景：近年来，智慧城市建设显著改变了城市管理和服务。准确的时空预测是智能城市建设的基础技术之一。例 如，交通预测系统可以帮助城市预先分配交通资源和智能控制交通信号。一个准确的环境预测系统可以帮 助政府制定环境政策，进而提高公众的健康水平。

时空预测是智能城市建设的基础性问题，对交通控制、出租汽车调度、环境政策制定等都有重要意义。由 于数据采集机制的原因，数据采集的空间分布不平衡是很常见的。例如，一些城市可能会发布多年的出租 车数据，而另一些城市只发布几天的数据；一些地区可能有传感器监测的恒定水质数据，而有些地区只有 少量的水样收集。

本文研究的是数据采集周期较短的城市的时空预测问题。我们的目的是通过迁移学习来 利用其他城市的长期数据。与以往从单一来源城市向目标城市转移知识的研究不同，我们率先利用来自多 个城市的信息来提高转移的稳定性。具体来说，我们提出的模型被设计成一个具有元学习范式的时空网 络。元学习范式学习时空网络的广义初始化，可以有效地适应目标城市。此外，还设计了一种基于模式的 时空存储器来提取长期的时间信息（即周期性）。

我们在两个任务上进行了大量的实验：交通（出租车和 自行车）预测和水质预测。实验结果表明，我们提出的模型在几个竞争基线模型上是有效的。

Contributions主要有以下三个方面：

• 研究了从多个城市转移知识用于目标城市时空预测的问题。
• 提出了一个新的MetaST框架，通过将时空网络与元学习范式相结合来解决问题。
• 此外，从所有的源城市学 习一个全局内存加密的长期时空模式，并将其传输到目标城市，以进一步提高目标城市的时空预测能力。在三个真实的时空数据集上实证证明了提出的MetaST框架的有效性。

感兴趣小样本内容的各位，欢迎关注答主的小样本学习方法(FSL)专栏：https://www.zhihu.com/column/c_1258398000180768768