首页
学习
活动
专区
工具
TVP
发布

AI科技评论

专栏成员
4171
文章
3672041
阅读量
186
订阅数
ICLR 2022 | DBD: 基于分割后门训练过程的后门防御方法
香港中文大学(深圳)吴保元教授课题组和浙江大学秦湛教授课题组联合发表了一篇后门防御领域的文章,已顺利被ICLR2022接收。
AI科技评论
2023-02-02
1.1K0
西电 NeurIPS 2022 | 基于结构聚类的异质图自监督学习
现阶段,图(Graph)上的自监督学习大多都遵循图对比学习框架,这些方法通常需要先构造一系列的正样本对以及负样本对,然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。
AI科技评论
2023-01-03
8780
大脑启发的AI模型:激活学习,挑战反向传播
反向传播技术是深度学习的核心,驱动了AI在视觉、语音、自然语言处理、游戏、生物预测等诸多领域的成功。反向传播的运行机制是通过反向的方式计算预测误差对神经网络连接权重的梯度,并通过微调每一层的权重来减少预测误差。尽管反向传播非常高效,是目前人工智能成功的关键,但是相当一部分研究人员并不认为反向传播的学习方法同大脑的工作方式是一致的。 随着深度学习技术的发展,大家也逐步看到了反向传播的一些弊端,例如对于标签数据和算力的过度依赖、存在一系列的对抗安全问题、只能针对特定的任务等,而且也引发了大家对发展大模型的一些顾
AI科技评论
2022-10-08
7120
理论计算机科学家 Boaz Barak:深度学习并非“简单的统计”,二者距离已越来越远
作者|Boaz Barak 编译|黄楠 编辑|陈彩娴 上世纪九十年代,斯坦福大学的知名生物信息学教授 Rob Tibshirani 曾拟了一个词汇表,将机器学习与统计学中的不同概念作了简单而粗暴的对应关系: 一方面,这个表格为理解机器学习提供了基础的认识,但同时,其简单地将深度学习或机器学习中的概念归纳为统计学中的词义,也引起了大多数人对深度学习本质的认知偏差:即深度学习是“简单的统计”。 然而,在深入探讨中,这样的认知在一定程度上阻碍了研究者理解深度学习成功的本质原因。在今年六月的一篇文章“The un
AI科技评论
2022-08-26
2380
不盲追大模型与堆算力!沈向洋、曹颖与马毅提出理解 AI 的两个基本原理:简约性与自一致性
近两年,“大力(算力)出奇迹”的大模型成为人工智能领域多数研究者的追求趋势。然而,其背后巨大的计算成本与资源耗费问题也弊端渐显,一部分科学家开始对大模型投以严肃的目光,并积极寻求解决之道。新的研究表明,要实现 AI 模型的优秀性能,并不一定要依靠堆算力与堆规模。 论文作者 | 马毅、曹颖、沈向洋 整理 | 西西 编辑 | 陈彩娴 深度学习火热十年,不得不说,其机遇与瓶颈在这十年的研究与实践中已吸引了大量的目光与讨论。 其中,瓶颈维度,最引人注意的莫过于深度学习的黑盒子特性(缺乏可解释性)与“大力出奇迹”(模
AI科技评论
2022-07-19
7370
OpenAI 研究员:数据不足时,如何实现监督学习
作者丨Lilian Weng 编译丨丛末 编辑丨陈彩娴 现实应用中,数据易得,而有标签的数据少有。 一般而言,当监督学习任务面临标签数据不足问题时,可以考虑以下四种解决办法: 1.预训练+微调:首先在一个大规模无监督数据语料库上对一个强大的任务无关模型进行预训练(例如通过自监督学习在自由文本上对语言模型进行预训练,或者在无标签图像上对视觉模型进行预训练),之后再使用一小组标签样本在下游任务上对该模型进行微调。 2.半监督学习:同时从标签样本和无标签样本中学习,研究者使用该方法在视觉任务上进行了大量研究。
AI科技评论
2022-07-19
8310
谷歌研究员 Sebastian Ruber:线下参加 ACL 2022,我可太开心了!
作者 | Sebastian Ruder 编译 | Antonio 编辑 | 陈彩娴 今年 ACL 线下召开,谷歌研究员Sebastian Ruber也到现场参会了! ACL 2022的举办地点是都柏林,Sebastian Ruber位于谷歌伦敦,过去不远。ACL之行结束后,他兴致冲冲地写下了他的参会感受,分享了他对几个学术动态的关注,包括:1)语言多样性和多模态;2)提示学习;3)AI 的下一个热点;4)他在大会中最喜欢的文章;5)语言和智能的黑物质;6)混合式个人体验。 以下AI科技评论对他的分享做了不
AI科技评论
2022-06-16
2150
Geoffrey Hinton 最新访谈:不出五年,我们就会破解大脑的运作机制,但不是通过反向传播
整理|李梅、黄楠 编辑|陈彩娴 过去十年,AI 在计算机视觉、语音识别、机器翻译、机器人、医学、计算生物学、蛋白质折叠预测等等领域取得了一个又一个突破,而这些突破的背后,均离不开深度学习。那么,深度学习起源于何时何地,又在何时成为最突出的AI方法? 最近,UC伯克利教授、深度学习专家Pieter Abbeel在其播客节目《机器人大脑》(Robot Brains)中,对Geoffrey Hinton进行了一次访谈。 曾获得2018年图灵奖的Hinton,被称为「深度学习三巨头」之一,是人工智能史上最重要的学者
AI科技评论
2022-06-13
7560
CVPR 2022丨清华大学提出:无监督域泛化 (UDG)
近日,清华大学崔鹏团队在CVPR 2022上发表了一篇工作,针对传统域泛化 (DG) 问题需要大量有标签数据的问题,提出了无监督域泛化 (UDG) 问题,旨在通过利用无标签数据进行预训练提升模型在未知域上的泛化能力,并为 UDG 提出了 DARLING 算法。该算法仅使用ImageNet 数据量 1/10 的无标签数据进行预训练即可在DomainNet上超过ImageNet预训练的效果。 1 DG简介&现有DG的问题 目前深度学习在很多研究领域特别是计算机视觉领域取得了前所未有的进展,而大部分深度学习算法假
AI科技评论
2022-06-08
1.4K0
ICASSP 2022丨字节跳动最新音乐检索系统ByteCover2,检索速度提高八倍
翻唱识别(CSI)是音乐信息检索(MIR)领域的一项重要任务,在歌曲搜索,音乐分发,曲库整理,智能推荐等场景下有着重要作用,被誉为下一代音乐识别技术。 近期,字节跳动火山语音团队的最新音乐检索系统ByteCover2入选了ICASSP 2022。这一系统主要面向翻唱识别(CSI)这一音乐信息检索(MIR)领域的一项重要任务,通过表征学习方法让其具备提取音乐核心特征的能力,并且该特征能够对种类繁多的音乐重演绎具有良好的鲁棒性,检索速度提高8倍。经Da-Tacos数据集上的评估,准确率远超其他方案的SoTA性能
AI科技评论
2022-05-27
1K0
浙大蔡登团队:基于序列对比学习的长视频逐帧动作表征
浙大蔡登团队携手微软亚洲研究院,提出了一个新的对比动作表征学习(CARL)框架,以自监督的方式学习逐帧动作表征,尤其是针对长视频;它考虑了时空上下文来提取逐帧表征,是一种基于Transformer的简单而高效的视频编码器。
AI科技评论
2022-05-18
7870
北交桑基韬:“超”人的机器学习,非语义特征的得与失
作者 | 桑基韬 整理 | 维克多 人工智能目前最大的“拦路虎”是不可信赖性,以深度学习为基础的算法,在实验室环境下可以达到甚至超过人类的水平,但在很多实际应用场景下的性能无法保证,而且存在对抗鲁棒性、解释性、公平性等问题。 4月8日,在AI TIME青年科学家——AI 2000学者专场论坛上,北京交通大学计算机科学系教授、系主任桑基韬在报告《“超”人的机器学习:非语义特征的得与失》中,从两类虚假相关性角度解释了这种现象: 机器学习其实不管是目标,还是学习方式,都是类人的,是对人的知识蒸馏。这种知识蒸馏会出
AI科技评论
2022-05-05
4140
向真实世界应用进军:持续自监督学习的挑战
在 Yann Lecun 等人的推动下,自监督学习成为了深度学习领域最受瞩目的技术之一。互联网世界源源不断产生的数据流无疑是充分发挥自监督学习能力的最佳土壤。然而,将自监督学习应用于自然场景将面临哪些严峻的挑战?且看来自 CMU 的 Abhinav Gupta 团队如何对此展开研究。 编译 | OGAI 编辑 | 陈彩娴 1 摘要 自监督学习旨在消除表示学习对人工标注的需求,我们希望自监督学习利用自然场景下的数据学习表征,即不需要有限的和静态的数据集。真正的自监督算法应该能够利用互联网上产生的连续数据流,或
AI科技评论
2022-04-27
5150
不可能三角:预训练语言模型的下一步是什么?
PLM的不可能三角困境。 编译 | 王玥 编辑 | 陈彩娴 近年来,大规模预训练语言模型(PLM)显著提高了各种NLP任务的性能。由BERT和GPT-2开始,自监督预训练范式和监督的微调范式取得了巨大的成功,并刷新了许多自然语言处理领域的最先进成果,如语义相似度、机器阅读理解、常识推理和文本摘要等。此外,这些PLM的规模为中等(即大小低于1B参数),令模型可以做出广泛且快速的微调与适应。 然而在许多真实的、特别是新颖的NLP场景中,由于预算或时间限制,用于有效微调的标记数据非常有限。这就刺激了零样本和少样
AI科技评论
2022-04-27
5720
迁移学习前沿探究探讨:低资源、领域泛化与安全迁移
作者丨王晋东 整理丨维克多 迁移学习是机器学习的一个重要研究分支,侧重于将已经学习过的知识迁移应用于新的问题中,以增强解决新问题的能力、提高解决新问题的速度。 4月8日,在AI TIME青年科学家——AI 2000学者专场论坛上,微软亚洲研究院研究员王晋东做了《迁移学习前沿探究探讨:低资源、领域泛化与安全迁移》的报告,他提到,目前迁移学习虽然在领域自适应方向有大量研究,相对比较成熟。但低资源学习、安全迁移以及领域泛化还有很多待解决的问题。 针对这三方面的工作,王晋东提供了三个简单的、新的扩展思路,以下是演讲
AI科技评论
2022-04-13
7180
Yann LeCun最新访谈:能量模型是通向自主人工智能系统的起点
Yann LeCun认为,「能量模型」开辟了通往「抽象预测」的道路,为能够进行规划的人工智能提供了「统一世界模型」。 来源 | ZDNet 编译 | 钱磊 编辑 | 陈彩娴 继自监督学习之后,Yann LeCun 在接受 ZDNet 的最新访谈中又着重探讨了他在几年前曾大篇幅推崇的概念:「能量模型」(energy-based models)。 什么是能量模型? Yoshua Bengio、 Ian Goodfellow 和 Aaron Courville 等人在2019年出版的《深度学习》(又称「花书」)一
AI科技评论
2022-04-07
1.3K0
直播预告丨阿里巴巴CVPR 2022分享会,今晚6:30不见不散
CVPR 2022已经放榜,AI科技评论邀请阿里巴巴的小伙伴来分享他们在CVPR 2022的收获,第一场直播将30号(周三)晚18:30开始,敬请期待。 时间 3月30日 18:30 活动流程 18:30-19:00 分享嘉宾:徐渊鸿 分享主题:Unsupervised Visual Representation Learning by Online Constrained K-Means 19:00-19:30 分享嘉宾:张士伟 分享主题:Learning from Untrimmed Videos: S
AI科技评论
2022-03-31
6100
参数量翻了10倍!Meta AI 祭出100亿参数的“新SEER”,为元宇宙铺路
作者 | 陈彩娴 编辑 | 岑峰 不久前,Meta AI 宣称,其于去年3月提出的10亿参数自监督模型 SEER (SElf-supERvised)又取得了新突破:新的 SEER 参数量翻了10倍,达到了100亿参数,可以取得更优秀、更公平的性能表现! 以下我们暂且称新的 SEER 模型为“SEER 10B”(一个牛逼不足以形容 Meta AI 在行动上落实自监督的野心,手动狗头)。 根据 Meta AI 的团队介绍,他们将 SEER 10B 模型在50+个基准与多个不同未标记数据集上进行了测试。其中,SE
AI科技评论
2022-03-03
7090
Yann LeCun最新发声:自监督+世界模型,让 AI 像人类与一样学习与推理
作者 | 维克多、西西、王晔 编辑 | 陈彩娴 如何突破当代人工智能(AI)的瓶颈?不同学者存在不同观点。 总体来看可以概括为两类,其一监督学习者,提倡通过改善数据标签质量,从而完善监督学习。代表人物有发起“以数据为中心AI”革命的吴恩达,提倡设计“合成数据自带所有标签”的Rev Lebaredian。 其二,无监督学者,例如Yann LeCun,提倡下一代AI系统将不再依赖于精心标注的数据集。 近日,Yann LeCun在meta AI(原Facebook)官方博客上以及IEEE采访中,深度阐述了他的自监
AI科技评论
2022-03-03
6110
人大金琴团队最新综述:基于 Transformer 的「视频-语言」预训练
作者丨熊宇轩 受到基于 Transformer 的预训练方法在自然语言和计算机视觉任务上取得的成功的启发,研究人员已经开始将 Transformer 用于视频处理。本文旨在全面概述基于 Transformer 的视频-语言学习预训练方法。 本文首先简要介绍了 Transformer 的相关背景知识(包括注意力机制、位置编码等)。本文从代理任务、下游任务和常用视频数据集三个方面介绍了典型的「视频-语言」处理的「预训练-微调」范式。接下来,本文将 Transformer 模型分为单流和多流结构,重点介绍了它们的
AI科技评论
2022-03-03
7920
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档