自监督学习本质上是一种无监督学习的方法，通常会设置一个“Pretext tasks”，根据数据的一些特点，构造Pesdeo Labels来训练网络模型。通过自监督得到的模型，可以作为其他学习任务的预训练模型，为其提供更好的训练初始区域。因此，自监督学习也可以看作是为了学习图像的通用视觉表示。
[1] 2015 (ICCV) Unsupervised Learning of Visual Representations Using Videos
https://github.com/jason718/awesome-self-supervised-learning
先写两个最近火热我比较看好的方向Transformer和Self-Supervised，我这里举的例子倾向于计算机视觉方向。最后再补充Zero-Shot和多模态两个方向。
https://github.com/sootlasten/disentangled-representation-papers
今年CVPR共有1200多篇论文被接收，官方评出了最佳论文，民间则评出了最差论文。
如果人工智能是一块蛋糕，那么蛋糕的大部分是自监督学习，蛋糕上的糖衣是监督学习，蛋糕上的樱桃是强化学习。
fast.ai上面关于自监督学习的资料：Self-supervised learning and computer vision. GitHub上面每年使用自监督学习的论文列表：Awesome Self-Supervised Learning. 相关微信推送
这是2018年ICLR发表的一篇论文，被引用超过1100次。论文的想法来源于：如果某人不了解图像中描绘的对象的概念，则他无法识别应用于图像的旋转。
本文作者来自东北大学，他通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。
优秀论文精选』 《A Tour of TensorFlow》链接：https://arxiv.org/pdf/1610.01178.pdf 『AI头条』 《麦肯锡AI研究报告》链接: https://pan.baidu.com/s/1gePqW0r 密码: k4xe 《（麻省理工科技评论）本年度全球50大最聪明公司》链接：https://www.technologyreview.com/lists/companies/2017/intro/#nvidia 『深度学习tips』 《What are some
code: https://github.com/createamind/keras-cpcgan
知乎上，如何设计一个网络拟合 xx 函数的讨论层出不穷（e.g. 判断一个数是奇数还是偶数、能否被 n 整除）；
10 月 18 日，2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、英特尔宋继强、旷视及智源学者孙剑、滴滴叶杰平、AWS 张峥、依图颜水成、地平线黄畅、autowise.ai 黄超等重磅嘉宾中关村论剑，重启充满创新活力的 AI 未来。峰会现场，新智元揭晓 AI Era 创新大奖，并重磅发布 AI 开放创新平台和献礼新书《智周万物：人工智能改变中国》。回放链接：
在开发机器学习解决方案时，需要清除的最大障碍一直是数据。像ImageNet和COCO这样的大规模、干净、完全注释的数据集并不容易获得，特别是对于小众任务。这在深度学习中尤其如此，而且随着深度学习的日益普及，这种情况会越来越明显。为了克服标记数据瓶颈，研究人员和开发人员正在开发各种技术，如迁移学习、领域适应、合成数据生成以及许多半监督和自监督技术。
通知：这篇推文有16篇论文速递信息，涉及目标检测、图像分割、风格迁移和GAN等方向。 [1]《Hashing with Mutual Information》 2018 IEEE PAMI Abstract：论文提出一种基于信息理论量、互信息(mutual)优化的监督哈希(hashing)方法。论文表明，优化互信息可以减少学习汉明空间中诱导邻域结构中的歧义，这对于获取高检索性能是至关重要的。为此，论文对minibatch随机梯度下降的深度神经网络中的互信息进行了优化，并提出了最大限度有效地利用现有监督的公式
Automated discovery of early visual concepts from raw image data is a major open challenge in AI research.
【导读】既昨天推出七篇图像检索（Image Retrieval）文章，专知内容组今天又推出最近八篇图像检索相关文章，为大家进行介绍，欢迎查看! 1. Improving Deep Binary Embedding Networks by Order-aware Reweighting of Triplets（通过对三元组阶感知重加权来提高深层二进制嵌入网络） ---- ---- 作者：Jikai Chen,Hanjiang Lai,Libing Geng,Yan Pan 机构：Sun Yat-sen Uni
昨天发布过上半部分，不少同学说本文很棒，今天作者终于更新完全部内容，希望对大家有启发！
ICLR 2019 组织者强调包容性在AI中的重要性，前两个主要演讲——Sasha Rush的开场致辞和Cynthia Dwork的受邀演讲——都是有关公平和平等的。以下是一些令人担忧的统计数据：
AI 科技评论按：上周，深度学习顶级学术会议 ICLR 2019 在新奥尔良落下帷幕。毕业于斯坦福大学、现就职于英伟达的女性计算机科学家 Chip Huyen 参加了这次会议，谈到对这次峰会的感想，她有以下 8 点想要讲：
图像识别 Image Recognition 专知荟萃 入门学习 进阶文章 Imagenet result 2013 2014 2015 2016 2017 综述 Tutorial 视频教程 Datasets 代码 领域专家 入门学习 如何识别图像边缘？ 阮一峰 [http://www.ruanyifeng.com/blog/2016/07/edge-recognition.html] CS231n课程笔记翻译：图像分类笔记 [https://zhuanlan.zhihu.com/p/20894041]
Luke Metz Google Brain lmetz@google.com Niru Maheswaranathan Google Brain nirum@google.com Brian Cheung University of California, Berkeley bcheung@berkeley.edu Jascha Sohl-Dickstein Google Brain jaschasd@google.com
作者：林孟潇 https://www.zhihu.com/question/355779873/answer/893928396
看到好东西，怎么能不分享呢。 第一次在知乎翻译，由于水平有限（不是谦虚的那种有限，是真的有限），有不准确的地方还望包涵，最重要的是，还望大佬们多多指正！ Background To the best of our knowledge, this is the first list of deep learning papers on medical applications. There are couple of lists for deep learning papers in general, o
"Aapo did it again!" - I exclaimed while reading this paper yesterday on the train back home (or at least I thought I was going home until I realised I was sitting on the wrong train the whole time. This gave me a couple more hours to think while traveling on a variety of long-distance buses...)
Neural architectures trained with back-propagation of errors are susceptible to catastrophic forgetting. In other words, old information acquired by these models is lost when new information for new tasks is acquired. This makes building models that continually learn extremely difficult if not near impossible. The focus of the NAC group's research is to draw from models of cognition and biological neurocircuitry, as well as theories of mind and brain functionality, to construct new learning procedures and architectures that generalize across tasks and continually adapt to novel situations, combining input from multiple modalities/sensory channels. The NAC team is focused with developing novel, neurocognitively-inspired learning algorithms and memory architectures for artificial neural systems (for both non-spiking and spiking neurons). Furthermore, we explore and develop nature-inspired metaheuristic optimization algorithms, ranging from (neuro-)evolution to ant colony optimization to hybrid procedures. We primarily are concerned with the various sub-problems associated with lifelong machine learning, which subsumes online/stream learning, transfer learning, multi-task learning, multi-modal/input learning, and semi-supervised learning.
【新智元导读】ICLR 2017 将于2017年4月24日至26日在法国土伦（toulon）举行，11月4日已经停止接收论文。本文汇总了本年度NLP、无监督学习、对抗式生成、自动编码、增强学习、随机循
【导读】专知内容组整理了最近七篇图像分类（Image Classification）相关文章，为大家进行介绍，欢迎查看! 1. Learning Image Conditioned Label Space for Multilabel Classification（学习图像条件标签空间的多标签分类） ---- ---- 作者：Yi-Nan Li,Mei-Chen Yeh 摘要：This work addresses the task of multilabel image classification. I
beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework
计算机视觉技术发展迅速，很多时候，可悲的不是我们没有努力，而是没有跟上时代的步伐。努力coding终于出来结果了，却发现早就有人开源了，效果还比自己写的好！
最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：
AI 科技评论按，近日，ICLR 2019 论文入选结果公布，各大公司和研究院纷纷在博客上公布了今年入选的论文。
允中 编译整理 量子位 出品 | 公众号 QbitAI 自从Goodfellow2014年提出这个想法之后，生成对抗网络（GAN）就成了深度学习领域内最火的一个概念，包括LeCun在内的许多学者都认为，GAN的出现将会大大推进AI向无监督学习发展的进程。 于是，研究GAN就成了学术圈里的一股风潮，几乎每周，都有关于GAN的全新论文发表。而学者们不仅热衷于研究GAN，还热衷于给自己研究的GAN起名，比如什么3D-GAN、BEGAN、iGAN、S²GAN……千奇百怪、应有尽有。 今天，量子位决定带大家逛逛GAN
05 Nov 2016 (modified: 18 Apr 2017)ICLR 2017 conference submissionReaders: EveryoneRevisions
【导读】机器学习领域顶尖学术会议——神经信息处理系统进展大会（Advances in NeuralInformation Processing Systems，NIPS），就是放在整个计算机科学界，也是数一数二的顶级学术会议。今年的NIPS将于 12 月份在美国长滩举行，本届NIPS共收到 3240 篇论文投稿，录用 678 篇，录用率为 20.9%；其中包括 40 篇口头报告论文和 112 篇 spotlight 论文。微软共中了16篇论文，其中微软亚洲研究院有4篇，Google有23篇。清华大学，今年共
Generating Videos with Scene Dynamics Carl Vondrick Hamed Pirsiavash Antonio Torralba NIPS 2016 Dow
本文主要推荐一些生成对抗网络（GAN，generative adversarial networks）相关的值得精读的论文，主要涉及GAN的优化，图像翻译，视频预测三个领域，可以作为GAN的学习顺序进行阅读。
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。
【1】 Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation Disp R-CNN：基于形状先验引导的立体3D对象检测实例视差估计
近年来，通过卷积网络（CNN）进行监督学习的方法已在计算机视觉应用中得到了广泛采用。相比之下，CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助缩小CNN在监督学习与无监督学习之间的差距。我们介绍一种遵循着一些网络结构设计约束的深度卷积生成对抗网络（DCGAN），并证明它是无监督学习的强大候选者。在各种图像数据集上的训练结果令人信服，即深度卷积生成器和判别器都学习到了从对象局部到场景的特征层次结构。此外，我们将学习到的特征用于新颖的任务——这更进一步展示了其作为通用图像特征表示的适用性。
语义分割类的论文与代码汇总 逐渐迁移到搭建的博客上 - AIUAI - www.aiuai.cn 新地址 - 语义分割 - Semantic Segmentation Papers
001 (2021-02-4) Designing an Encoder for StyleGAN Image Manipulation
Generative Image Modeling using Style and Structure Adversarial Networks
【1】 Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts 基于迭代金字塔上下文的联合语义分割和边界检测
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周的重要论文包括上海交大与 MIT 的联合项目 SwingBot 以及华盛顿大学升级版背景抠图 background matting 方法。 目录： SwingBot: Learning Physical Features from In-hand Tactile Exploration for Dynamic Swing-up Manipulation Point Transformer Canonical C
CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
欢迎关注并置顶本公众号一起学习深度学习！ ---- 我们先看看两段对此论文的解读，然后是论文翻译 二 from：http://www.jianshu.com/p/db87c51de510 InfoGAN (code). Peter Chen 和同时给出了 InfoGAN —— 一个对 GAN 的扩展，学习图像的去纠缠的和可解释的表示. 正常的 GAN 通过用模型重新产生数据分布达到这个目的，但是代码空间的 layout 和组织是 underspecified —— 存在很多可能的解可以将单位 Gaussia
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
