CVPR 2022已经放榜,AI科技评论邀请阿里巴巴的小伙伴来分享他们在CVPR 2022的收获,第一场直播将30号(周三)晚18:30开始,敬请期待。
3月30日 18:30
分享嘉宾:徐渊鸿
分享主题:Unsupervised Visual Representation Learning by Online Constrained K-Means
分享嘉宾:张士伟
分享主题:Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
分享嘉宾:彭翔宇
分享主题:Crafting Better Contrastive Views for Siamese Representation Learning
QA关环节
徐渊鸿-达摩院机器智能技术实验室
论文摘要:
解决基于聚类的无监督表征学习的性能和效率问题,提出全新的在线学习算法CoKe。
首先通过分析有监督表征学习的优化目标,我们提出一种基于聚类的无监督自学习的优化目标。在我们提出的优化目标中,需要优化的变量进一步解耦为两部分: 1. 聚类相关的聚类标签和聚类中心; 2. 表征相关的编码网络。前者通过k-means算法进行在线更新,后者通过标准的分类任务进行优化。其中分类任务的样本标签采用上一轮的聚类标签。因此CoKe可以仅使用单一视图对表征网络进行优化。最后为避免k-means中将所有样本分配到同一类的聚类结果,CoKe为每个类添加所含样本数量下界约束,并开发相应的在线优化算法。
我们的理论分析表明所提在线分配算法效果可以逼近离线最优解。实验中仅使用单台8卡服务器,便能在ImageNet的评测上超越了现有的无监督学习算法。
张士伟-达摩院城市大脑实验室
论文标题:
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
论文摘要:
互联网中海量的无剪切长视频通常包含更丰富的语义信息,且更容易获取,在实际场景中有着非常重要的应用价值。然而现有视频自监督方法在长视频中却呈现出明显的性能下降,主要原因是其太强的时空一致性假设,这种假设在长视频中难以成立。
因此,我们提出了分层一致性的方法—HiCo来直接进行长视频自监督,HiCo主要包括视觉一致性学习和主题一致性学习,即时间距离相近但视觉相似的片段保持视觉一致,时间相差较远但是表达内容语意相同的片段被认为主题一致,从两个维度进行表征学习。
实验表明,在行为识别任务上,HiCo比标准的自监督学习方法SimCLR性能提升12%以上,在行为检测上,HiCo的AUC比SimCLR提升了4%以上,均说明HiCo能够从长视频中学习的特征得到显著提升。
彭翔宇-新加坡国立大学在读博士
论文标题:
Crafting Better Contrastive Views for Siamese Representation Learning
论文摘要:
本文重新审视了传统使用的随机裁剪,指出了其在对比学习中的缺陷,并进一步为对比学习设计了新的裁剪策略,命名为“对比裁剪(ContrastiveCrop)”。ContrastiveCrop旨在确保大部分正样本对语义一致的前提下,加大样本之间的差异性,从而通过最小化对比损失学习到更泛化的特征。
具体来说,ContrastiveCrop首先需要对物体轮廓进行大致的定位,并由此来指导crops的选取,这样确保了大部分情况crop不会错失前景物体而造成错误的正样本对。在定位的基础上,ContrastiveCrop采用了中心压制的非均匀分布进行采样,从而增加了不同crops之间的差异性。ContrastiveCrop完全即插即用,且理论上适用于任何对比学习的孪生网络架构。广泛的实验表明,在几乎不增加训练内存和计算代价的前提下,ContrastiveCrop能够在若干常用数据集上稳定提升当前主流对比学习方法的性能。
扫码进入直播间
扫码进入CVPR2022交流群
若二维码过期或群内满200人时,添加小助手微信(AIyanxishe3)备注CVPR2021拉你进群
点击【阅读原文】,进入直播间