首页
学习
活动
专区
工具
TVP
发布

新智元

专栏成员
8495
文章
6234154
阅读量
207
订阅数
为什么OpenAI不能被计划?
然而,没有人说,OpenAI最初所做的这一切,注定要迎来AI的「iPhone时刻」。
新智元
2023-09-09
1540
突破自监督学习效率极限!马毅、LeCun联合发布EMP-SSL:无需花哨trick,30个epoch即可实现SOTA
过去几年,无监督和自监督学习(SSL)取得了巨大进步,通过SSL学习得到的表征在分类性能上甚至赶上了有监督学习,在某些情况下甚至还能超过有监督学习,这一趋势也为视觉任务的大规模数据驱动无监督学习提供了可能。
新智元
2023-08-07
2840
LeCun世界模型出场!Meta震撼发布首个「类人」模型,理解世界后补全半张图,自监督学习众望所归
长久以来,LeCun理想中的AI,一直是通往人类水平的AI,为此他提出了「世界模型」的构想。
新智元
2023-08-05
2240
从自监督到全监督!Google 提出新损失函数SupCon,准确率提升2%!
---- 新智元报道   来源:Google AI Blog 编辑:LRS 【新智元导读】监督学习中一个重要的模块就是损失函数了,而最常见的损失函数就是交叉熵了。Google在NIPS2020上提出了一个损失函数SupCon,只需换掉交叉熵,准确率立刻提升2%,快来了解一下吧! 近年来,由于对比学习的应用,自监督表征(self-supervised representation learning)学习在各种图像和视频任务中得到了显著的发展。 对比学习方法通常指导模型在嵌入空间中将目标图像(anchor
新智元
2023-05-22
1K0
对比学习也会维度崩溃?LeCun和田渊栋团队新作,DirectCLR帮你解决各种崩溃!
---- 新智元报道   来源:arXiv 编辑:LRS 【新智元导读】自监督学习的一个弊端在于没有正负样例的修正,非常容易把所有输入映射到同一向量,从而发生崩溃问题。最近LeCun和田渊栋合作发布DirectCLR,能够极大缓解崩溃问题,在ImageNet的精度超越SimCLR 近10%! 自监督学习在计算机视觉中的应用十分广泛,能够在没有人工标注的情况下学到输入数据的有效表示。 目前基于联合嵌入方法(joint embedding method)的自监督视觉表征学习研究进展表明,自监督学习得到的表
新智元
2023-05-22
3560
UCSD、MIT等华人团队教机器狗感知3D世界!搭M1芯片,爬楼跨障无所不能|CVPR 2023
---- 新智元报道   编辑:编辑部 【新智元导读】用苹果M1芯片思考,还能自己遛自己的机器狗,你见过吗? 最近,来自UCSD、IAIFI和MIT机构的研究人员,用一种全新的神经体积记忆架构(NVM),教会了一只机器狗感知三维世界。 利用这项技术,机器狗可以通过单一的神经网络实现爬楼梯、跨缝隙、翻障碍等等——完全自主,无需遥控。 不知道你有没有注意到狗背上那个的白盒子? 里面搭载的是苹果的M1芯片,负责运行机器狗的视觉处理任务。而且,还是团队从一台Mac上拆下来的。 不难看出,MIT的这只机器狗可
新智元
2023-05-22
3080
LeCun 70页长篇巨作!自监督学习「葵花宝典」,手把手教你学会
---- 新智元报道   编辑:编辑部 【新智元导读】自监督学习入门指南,LeCun 70页论文都讲透了。 一本自监督学习全套攻略来了! 今天,Yann LeCun、田渊栋等机构的研究者共同发表了一篇70页论文「自监督学习的食谱」。 LeCun称,你曾经想知道,却又不敢问的自监督学习内容全在这儿了。 先来看看这篇论文阵容有多强大,除了Meta AI的研究员,还汇集了纽约大学、马里兰大学、加利福尼亚大学戴维斯分校、蒙特利尔大学等6所大学研究人员的智慧。 可想而知,这篇论文含金量有多足了。 论文地址:
新智元
2023-05-09
2220
CV圈又炸了?小扎高调官宣DINOv2,分割检索无所不能,网友:Meta才是「Open」AI
---- 新智元报道   编辑:桃子 拉燕   【新智元导读】Meta在CV领域又放了个大的!自监督+无需微调,计算机视觉又要不存在了? 继「分割一切」后,Meta再发DINOv2。 这还是小扎亲自官宣,Meta在CV领域又一重量级开源项目。 小扎也是高调表示,Meta一直致力于开源各种AI工具,而今天发布的DINOv2更是SOTA级别的模型。能在深度估计、语义分割、图像相似性比较等方面实现自监督训练。 小扎表示,用这个模型可以借助卫星图像生成不同大洲的森林高度。而在未来,还可以帮助医学成像、粮食产
新智元
2023-05-09
2060
清北联合出品!一篇Survey整明白「Transformer+强化学习」的来龙去脉
---- 新智元报道   编辑:LRS 【新智元导读】Transformer与强化学习结合的综述! Transformer模型自发布后,很快就成了自然语言处理和计算机视觉领域在有监督学习设置下的主流神经架构。 虽然Transformer的热潮已经开始席卷强化学习领域,但由于RL本身的特性,例如需要进行独特的特征、架构设计等,当前Transformer与强化学习的结合并不顺利,其发展路线也缺乏相关论文进行贯穿性地总结。 最近来自清华大学、北京大学、腾讯的研究人员联手发表了一篇关于Transformer与
新智元
2023-02-24
4990
专访探索AGI的孤勇者,传奇工程师John Carmack:惊讶看不到如我这样的人
---- 新智元报道   来源:智源社区 编辑:好困 【新智元导读】John Carmack,这位传奇游戏开发者、火箭工程师和VR梦想家已经转向一个大胆的新挑战:开发人工通用智能——一种超越模仿人类智能而理解事物和解决问题的AI形式。 我坚信,实现AGI程序的源代码,一个人就能编写,规模是几万行。而不是Chrome三千万或者Twitter两千万那种量级。推理是:人的DNA信息量不到1GB,而大脑只有40MB,其中还有冗余和不精密的部分。十年内我们也能拥有匹配的硬件完成这项工作。 职业生涯早期,当我有个
新智元
2023-02-24
3180
自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法
---- 新智元报道   作者:专知 编辑:好困 【新智元导读】虽然监督学习引发了深度学习的繁荣,但它有一些关键的缺点:(1)它需要大量昂贵的标记数据,(2)它从头开始解决任务,而不是像人类那样利用从先前经验中获得的知识和技能。 预训练已成为一种替代和有效的范式,以克服这些缺点,其中模型首先使用容易获得的数据进行训练,然后用于解决感兴趣的下游任务,标记数据比监督学习少得多。 使用未标记数据进行预训练,即自监督学习,尤其具有革命性,在不同领域取得了成功:文本、视觉、语音等。 这就提出了一个有趣且具有
新智元
2023-02-24
4130
稀疏模型最新进展!马毅+LeCun强强联手:「白盒」非监督式学习|ICLR 2023
---- 新智元报道   编辑:LRS 【新智元导读】白盒非监督学习模型性能再进一步! 最近马毅教授和图灵奖得主Yann LeCun联手在ICLR 2023上发表了一篇论文,描述了一种极简和可解释的非监督式学习方法,不需要求助于数据增强、超参数调整或其他工程设计,就可以实现接近 SOTA SSL 方法的性能。 论文链接:https://arxiv.org/abs/2209.15261 该方法利用了稀疏流形变换,将稀疏编码、流形学习和慢特征分析(slow feature analysis)相结合。 采
新智元
2023-02-24
3390
多模态再次统一!Meta发布自监督算法data2vec 2.0:训练效率最高提升16倍!
近几年人工智能领域的突破大多由自监督学习推动,比如BERT中提出的MLM (Masked Language Model) ,通过将文本中的部分单词遮盖后重新预测,使得海量无标记文本数据也能用来训练模型,自此开启了大规模预训练模型的新时代。
新智元
2023-01-09
9610
人工智能300年!LSTM之父万字长文:详解现代AI和深度学习发展史
实用AI地提出,最早可以追溯到1914年。当时Leonardo Torres y Quevedo构建了第一个工作的国际象棋机器终端游戏玩家。当时,国际象棋被认为是一种仅限于智能生物领域的活动。
新智元
2023-01-09
4710
VideoMAE:简单高效的视频自监督预训练新范式|NeurIPS 2022
代码和预训练权重已经在Github开源:https://github.com/MCG-NJU/VideoMAE
新智元
2023-01-08
7270
LSTM之父再次约战LeCun:你那5点「创新」都是抄我的!却惨遭「已读不回」
最近,LSTM之父Jürgen Schmidhuber一言不合又跟LeCun干上了!
新智元
2023-01-08
1800
2022 Top10自监督学习模型发布!美中两国8项成果霸榜
自监督学习使计算机能够观察世界,通过学习图像、语音或文本的结构来了解世界。这推动了人工智能最近的许多重大进展。
新智元
2023-01-07
3380
训练ViT和MAE减少一半计算量!Sea和北大联合提出高效优化器Adan,深度模型都能用
自Google提出Vision Transformer(ViT)以来,ViT渐渐成为许多视觉任务的默认backbone。凭借着ViT结构,许多视觉任务的SoTA都得到了进一步提升,包括图像分类、分割、检测、识别等。
新智元
2023-01-07
5740
无需多视图!Google重磅升级NeRF:仅需一张平面图即可生成3D模型
---- 新智元报道   编辑:LRS 【新智元导读】NeRF最大的弊端被攻克! 人类视觉中,有一个很重要的能力就是可以从二维图像中理解图像的三维形状。 理解三维几何对于了解物体和场景的物理和语义结构至关重要,但当下计算机的视觉仍然很难从二维照片中抽取出三维几何信息。 2020年,神经辐射场(NeRF)模型发布,仅根据二维图像即可生成三维模型,不过缺陷也很明显:模型需要同一个场景(scene)的多个视图(views)作为监督学习的输入。 如果多视角数据不足,模型就无法估计体积表征,生成的场景很容易崩溃
新智元
2022-09-20
1.4K0
AI能「踢足球」了,但AI机器人还不能
---- 新智元报道   编辑:武穆 【新智元导读】DeepMind的研究团队,通过计算机模拟数十年足球比赛的情况,训练AI学会了熟练地控制数字人形足球运动员,但还仅限于足球网络游戏,不能用于机器人硬件上。 今年11月,世界杯又要开赛了。 到时候,不管踢不踢,踢得好还是踢得不好,又会有很多人开始聊足球了。 没办法,谁叫足球是世界第一大运动呢。 不过相比于世界杯,科学家对年度机器人杯3D模拟联盟更感兴趣。 不久前,来自英国人工智能公司DeepMind的研究团队,利用一种加速版运动课程,通过计算机模拟数十
新智元
2022-09-14
5400
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档