首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8931
文章
6283818
阅读量
277
订阅数
ICLR 2024 | 鸡生蛋蛋生鸡?再论生成数据能否帮助模型训练
随着生成模型(如 ChatGPT、扩散模型)飞速发展,一方面,生成数据质量越来越高,到了以假乱真的程度;另一方面,随着模型越来越大,也使得人类世界的真实数据即将枯竭。
机器之心
2024-04-12
1070
后Sora时代,CV从业者如何选择模型?卷积还是ViT,监督学习还是CLIP范式
一直以来,ImageNet 准确率是评估模型性能的主要指标,也是它最初点燃了深度学习革命的火种。但对于今天的计算视觉领域来说,这一指标正变得越来越不「够用」。
机器之心
2024-02-26
1370
ICCV 2023 | 通用数据增强技术,随机量化适用于任意数据模态
自监督学习算法在自然语言处理、计算机视觉等领域取得了重大进展。这些自监督学习算法尽管在概念上是通用的,但是在具体操作上是基于特定的数据模态的。这意味着需要为不同的数据模态开发不同的自监督学习算法。为此,本文提出了一种通用的数据增强技术,可以应用于任意数据模态。相较于已有的通用的自监督学习,该方法能够取得明显的性能提升,同时能够代替一系列为特定模态设计的复杂的数据增强方式并取得与之类似的性能。
机器之心
2023-09-08
3440
直接压缩一切!OpenAI首席科学家Ilya Sutskever这么看无监督学习
近日,OpenAI 首席科学家 Ilya Sutskever 在专注于计算理论研究的 Simons Institute 作了一次讲座,一句话总结就是我们可以通过压缩的视角来看待无监督学习。此外他还分享了不少其它有趣的见解。机器之心整理了该演讲的大体内容,希望借此帮助读者更深入地理解无监督学习。
机器之心
2023-09-08
2850
Yann LeCun团队新研究成果:对自监督学习逆向工程,原来聚类是这样实现的
自监督学习(SSL)在最近几年取得了很大的进展,在许多下游任务上几乎已经达到监督学习方法的水平。但是,由于模型的复杂性以及缺乏有标注训练数据集,我们还一直难以理解学习到的表征及其底层的工作机制。此外,自监督学习中使用的 pretext 任务通常与特定下游任务的直接关系不大,这就进一步增大了解释所学习到的表征的复杂性。而在监督式分类中,所学到的表征的结构往往很简单。
机器之心
2023-08-07
1500
LeCun、田渊栋参与撰写,70页「自监督学习」大全来了
机器之心报道 编辑:张倩 「如果你想研究自监督学习,那最好看看这本书。」 「关于自监督学习,你想知道但又不敢问的一切都在这里了。」图灵奖得主、Meta 人工智能首席科学家 Yann LeCun 刚刚发了这样一则推文。 在推文中,LeCun 介绍了他和 Meta 人工智能研究院研究员、研究经理田渊栋等人共同撰写的一份「Cookbook」(非常实用、可操作性强、就像一本菜谱一样的论文)。这本 Cookbook 总共 70 页,涵盖了自监督学习的定义、重要性、起源、家族、训练部署方法、扩展方法等方面知识,是一份
机器之心
2023-05-01
1290
离视觉大一统更近一步:分割一切之后,Meta又开源一组多用途大模型
机器之心报道 机器之心编辑部 DINOv2 无需微调就能用于多种视觉任务。 在开源了「分割一切」的 SAM 模型后,Meta 在「视觉基础模型」的路上越走越远。 这次,他们开源的是一组名叫 DINOv2 的模型。这些模型能产生高性能的视觉表征,无需微调就能用于分类、分割、图像检索、深度估计等下游任务。 ‍ 这组模型具有如下特征: 使用自监督的方式进行训练,而不需要大量的标记数据; 可以用作几乎所有 CV 任务的骨干,不需要微调,如图像分类、分割、图像检索和深度估计; 直接从图像中学习特征,而不依赖文本描
机器之心
2023-05-01
2010
CVPR 2021 | 华南理工等推出基于3D点云数据的功能可供性数据集
机器之心专栏 作者:徐迅 为了促进视觉功能可供性在真实场景中的研究,在这篇CVPR 2021论文中,来自华南理工大学等机构的研究者提出了基于 3D 点云数据的功能可供性数据集 3D AffordanceNet。基于此数据集,研究者提供了三个基准任务,用于评估视觉功能可供性理解。 简介 功能可供性 (Affordance) 理解关心的是人类和环境之间的交互。例如,一个人可以坐在椅子上,抓取一个杯子或者提起一个背包。能够从视觉信息中理解物体的功能可供性对机器人在动态且复杂的环境中执行操作是至关重要的。物体功能可
机器之心
2023-03-29
4390
7 Papers & Radios | 矩阵乘法无需相乘,速度提升100倍;一个神经元顶5到8层神经网络
机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周论文包括 MIT 计算机科学博士生 Davis Blalock 及其导师 John Guttag 教授发表的研究,即矩阵乘法无需相乘,运行速度是精确矩阵乘积的 100 倍,是当前近似方法的 10 倍;耶路撒冷希伯来大学的研究者对单个神经元的计算复杂度进行了研究,发现一个神经元顶 5 到 8 层神经网络。 目录: Graph Self-Supervised Learning: A Survey  Online M
机器之心
2023-03-29
3190
数据挖掘领域大师俞士纶团队新作:最新图自监督学习综述
机器之心专栏 机器之心编辑部 图灵奖得主 Yoshua Bengio 和 Yann LeCun 在 2020 年的 ICLR 大会上指出,自监督学习有望使 AI 产生类人的推理能力。该观点为未来 AI 领域指明了新的研究方向——自监督学习是一种不再依赖标注,而是通过揭示数据各部分之间关系,从数据中生成标签的新学习范式。 近年来,自监督学习逐渐广泛应用于计算机视觉、自然语言处理等领域。随着该技术的蓬勃发展,自监督学习在图机器学习和图神经网络上的应用也逐渐广泛起来,图自监督学习成为了图深度学习领域的新发展趋势
机器之心
2023-03-29
5030
全日制学生全程免费参会、BERT作者之一亲自授课,2021机器学习暑期学校开放注册
2021 年 8 月 2 日 - 20 日,机器学习暑期学校 MLSS(历届大会网址 http://mlss.cc)将于线上隆重举行,现开放线上报名渠道。全日制学生可免费参会,全日制学生可免费参会,全日制学生可免费参会… 重要的事情说三遍。连续三周每天至少一场大师演讲。 大会简介及注册网址:http://ai.ntu.edu.tw/mlss2021/ 机器学习暑期学校(Machine Learning Summer School, MLSS)是一个国际机器学习暑期课程组织,会邀请机器学习领域的知名专家给予演
机器之心
2023-03-29
2740
ConvNeXt V2来了,仅用最简单的卷积架构,性能不输Transformer
机器之心报道 编辑:赵阳 ConvNeXt 模型更新了! 经过几十年的基础研究,视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视觉模型已经成为特征学习(feature learning)和视觉应用的基本工具。视觉表征学习系统的性能在很大程度上受到三个主要因素的影响:模型的神经网络架构、训练网络的方法以及训练数据。每个因素的改进都有助于模型整体性能的提高。 神经网络架构设计的创新在表征学习领域一直发挥着重要作用。卷积神经网络架构(ConvNet)对计算机视觉研究产生了重大影响,使得各种视觉识
机器之心
2023-03-29
6450
达摩院开源半监督学习框架Dash,刷新多项SOTA
机器之心专栏 作者:达摩院 本文介绍机器学习顶级国际会议 ICML 2021 接收的 long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。 一、研究背景 监督学习(Supervised Learning) 我们知道模型训练的目的其实是学习一个预测函数,在数学上,这可以刻画成一个学习从数据 (X) 到标注 (y) 的映射函数。监督学习就是一种最常用的模型训练方法,其效果的提升依赖于大量的且进行
机器之心
2023-03-29
2460
GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑
机器之心报道 机器之心编辑部 Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。 当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。 这场辩论的主题为「Do large language models need sensory grounding for m
机器之心
2023-03-29
3070
ChatGPT的前世今生:OpenAI的技术「执拗」与「豪赌」
机器之心专栏 作者:追一科技 本文全方位地介绍了 ChatGPT 的能力特征、发展历程以及 OpenAI 一路走来所坚守的技术路线,并对 ChatGPT 出现之后 NLP 领域的范式转换进行了展望,即 ChatGPT 开启「文本生成 + 指令」的范式。 1、ChatGPT,不再「愚蠢」的人工智能 ChatGPT 的相关话题应该算是继 AlphaGo 以来,最出圈的人工智能热点了。简单来说,它是一个可以用自然语言对话的机器人,你可以问它任何问题(当然它有可能会答错,但你可以引导并纠正它),它都会以非常流畅、
机器之心
2023-02-27
5440
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述
选自arXiv 作者:Wenzhe Li等 机器之心编译 编辑:rome rome 受监督学习的启发,人们对把 Transformer 用于强化学习产生了浓厚的兴趣。 强化学习(RL)为顺序决策提供了一种数学形式,深度强化学习(DRL)近年来也取得巨大进展。然而,样本效率问题阻碍了在现实世界中广泛应用深度强化学习方法。为了解决这个问题,一种有效的机制是在 DRL 框架中引入归纳偏置。 在深度强化学习中,函数逼近器是非常重要的。然而,与监督学习(SL)中的架构设计相比,DRL 中的架构设计问题仍然很少被研究。
机器之心
2023-02-23
2350
加入最火OpenAI,特斯拉前AI总监Andrej Karpathy自宣回归
机器之心报道 机器之心编辑部 官宣回归OpenAI,特斯拉前AI高级总监Andrej Karpathy的下家定了。 刚刚,特斯拉前 AI 高级总监 Andrej Karpathy 在推特上宣布,自己将再次加入 OpenAI。 我将加入 OpenAI(再一次)。与许多人工智能领域内外的人一样,我被这家公司的工作的影响所鼓舞,我个人也从中受益良多。它未来的潜力尤其令人振奋;重新加入其中并参与建设是一件非常愉快的事情! Sam Altman 表示:欢迎回来! 距离 Karpathy 的上一次离职,已经过去了八
机器之心
2023-02-23
2490
10亿参数、多项SOTA,智源开源视觉基础模型EVA
作为一种视觉预训练方法,掩码图像建模(Masked Image Modeling,简称 MIM)近期得到了蓬勃发展,自从 BEiT 开始,一系列新方法诸如 SimMIM、MAE、MVP 等被陆续设计出,这个领域也受到了很大关注。然而,在十亿参数量级别的视觉预训练模型中,最具竞争力的模型例如 ViT-g、SwinV2、CoCa 等仍然严重依赖有监督或弱监督训练,以及不可公开访问的数亿级有标签数据。
机器之心
2022-12-16
8530
字节跳动李航:人工智能需要新的范式和理论
冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机和人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制,为未来建立统一的计算理论打下基础。事实上,建立计算机和人脑的统一计算理论是冯 · 诺伊曼晚年研究的主要课题。他所关注的统一计算理论应该也是人工智能领域的核心问题。站在人工智能的角度,人脑是智能系统的代表,应该从人脑的计算机制得到启发,开发出未来的智能计算理论和方法。
机器之心
2022-12-16
8270
中文文本生成发展到哪一步了?写方案、写广告的AI全能工具已上线
对于曹植来说,写一首诗需要走七步。对于 AI 来说,写一首诗只需要几秒钟。这首诗的「作者」,是近日上线的「秘塔写作猫」新版本「AI 写作」。
机器之心
2022-12-16
1.1K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档