对比无监督学习最近显示出令人鼓舞的进展,例如在动量对比(MoCo)和SimCLR中。在这篇笔记中,我们通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。通过对MoCo的简单修改,即使用MLP投影头和更多的数据增强。
对比损失
可以通过各种不同的密钥维护机制最小化。在端到端机制中,负样本来自同一批数据,并通过反向传播进行端到端更新。SimCLR 就是基于这种机制,需要大 batchsize 才能提供大量底片。在MoCo机制中,负样本被保持在队列中,并且在每个训练批次中只有查询样本和正样本被编码。采用动量编码器来提高当前模型和之前模型之间的表示一致性。具体可以移步参考 自监督学习 —— MoCo v1
file:///C:/Users/issuser/Downloads/202205291635050.pdf