首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8964
文章
6350497
阅读量
278
订阅数
SparK项目原作解读:卷积模型的首个BERT预训练
「大规模预训练」是 AI 各领域愈发浮出水面的宏图愿景。BERT 预训练与 GPT 齐名,分别被证明在语言理解和语言生成下游任务上取得了卓越性能,是 NLP 表征学习的利器。「卷积模型」则是视觉领域的中流砥柱。得益于高度并行化和局部化,CNN 长期积累的硬件优化使其成为现实工业界中不可代替的骨干。「强大的预训练的卷积模型」则是视觉研究者的长期追求,然而,卷积模型的 SOTA 预训练仍停滞在对比学习,将 BERT 的成功从 Transformer 迁移到卷积是一个吸引人但未实现的愿景。 SparK 工作初步
机器之心
2023-02-27
3460
AudioLDM一作解读:文本生成高质量音频,单GPU即可
文本驱动的生成模型在图像和视频领域已经取得了显著成果,例如大火的 Stable Diffusion,可以生成大片级别的图像,但是在音频领域,技术上的进展还是比较局限的。 文本到音频的生成模型对许多和创作相关的行业都会产生积极的作用,例如游戏开发者或者电影配音人员可以借助此项技术,根据特定的要求去生成声音,而不是在庞大的音频数据库中搜寻,从而加快生产效率。文本到音频的生成模型也可以为未来自动内容创作提供文本和声音之间的桥梁。 然而,以往文本到音频的研究都存在生成质量有限、计算成本高的问题。 针对上述困难,来
机器之心
2023-02-23
5430
文字、图片一键生成逼真音效,作者亲自揭秘音频AIGC模型
AIGC 在最近几月获得了巨大的突破,用户可以输入自然语言生成图像、视频、甚至是 3D 模型。但对于音频音效合成,高自由度音频生成因文本 - 音频对数据缺乏,以及长时波形建模困难而带来挑战。 此前,机器之心发布的文章《这段音频火爆外网!文字、图片一键生成逼真音效,音频界 AIGC 来了》很好的解决了上述问题,研究者提出了一款创新的、文本到音频生成系统,即 Make-An-Audio。其可以将自然语言描述作为输入,而且是任意模态(例如文本、音频、图像、视频等)均可,同时输出符合描述的音频音效。 具体而言,研究
机器之心
2023-02-23
7640
AAAI 2023杰出论文一作分享:新算法加持的大批量学习加速推荐系统训练
CTR(click-through rate)预测模型是个性化推荐场景下的一种常用算法,它通常需要学习用户的反馈(点击、收藏、购买等),而每天在线产生的数据量又是空前庞大的。因此,加快 CTR 预估模型的训练速度至关重要。一般来说,提高训练速度会使用批量训练,不过批量太大会导致模型的准确度有所降低。 在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上,新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖(Distinguised Paper)的研究《CowCl
机器之心
2023-02-23
5340
2022稳居C位的AIGC,到底有什么用?
如果总结 2022 年十大技术趋势,AIGC(AI-Generated Content)一定能稳站一席。
机器之心
2022-12-16
5740
Uni-Mol:分子3D表示学习框架和预训练模型项目原作解读
预训练模型正在席卷 AI 领域。从大规模无标注数据中提取表征信息,再在小范围标注的下游任务上进行监督学习,正在成为很多领域的事实解决方案。NLP 中有 BERT、GPT-3,CV 中有 ViT,而这样的模式如何助力药物设计,也一直都是人们密切关注的问题。药物分子与图片、语言文字的不同之处在于,“什么是最好的分子表征”依旧是一个人们未能形成共识的问题。主流分子预训练模型均从一维序列或二维图结构出发,但分子结构本身是在三维空间中表示的。能否直接从三维信息出发构建预训练模型、获得更好的分子表征,是一个重要而有意义
机器之心
2022-10-11
6060
英雄联盟、Dota 2等电竞游戏蓬勃发展,人工智能起大作用
选自cacm.acm.org 作者:Logan Kugler 机器之心编译 编辑:rome rome 在电子竞技中,AI 可以打败人类选手,也可以推动电竞发展。 电子竞技也就是职业电子游戏直播,让电子游戏不再仅仅是好玩。 电竞比赛中,职业玩家组队在《英雄联盟 LOL》、《Dota 2》等游戏中对战。职业玩家的每一个动作和操作都会通过现场直播的方式呈现给数百万观众、参与现场互动、并且观众可以通过观看比赛集锦进行技术分析。世界顶级选手通常因其游戏中的别名而闻名于世,职业玩家也会因此获得可观的收入。电竞比赛直播
机器之心
2022-09-06
4790
阿里达摩院KDD 2022最佳论文线上分享:核心作者解读FederatedScope-GNN
近年来,在全社会对隐私保护日益重视的背景下,联邦学习的研究和应用得到了长足发展。这一进步很大程度上得益于联邦学习框架及算法库的支持。当前,这类框架对联邦学习中各个参与方的通信、计算图的描述和拆分调度、模型的部署与推理等一般性的基础设施均有完整丰富的支持。但是,现有框架和库对图联邦的支持相对有限,难以基于已有工作去建立联邦图学习的基准。学术界和工业界都对一款功能全面且对实现联邦图学习算法友好的框架有强烈需求。 在最近的 KDD 2022 应用方向最佳论文获奖工作 FederatedScope-GNN 中,阿里
机器之心
2022-08-25
6420
走进AI构筑的智能决策世界,8月11日首届第四范式技术日等你来
在现代社会,以 AI 为核心的智能化决策已经成为企业转型的新范式,能够帮助企业经营从量变到质变,真正释放 AI 的价值。智能化决策也成为企业的核心竞争力之一,探索多样化形式的决策 AI 变得越来越重要。 2022 年 8 月 11 日 10:30,首届「第四范式技术日」(4Paradigm Tech Day)将于线上举办,Tech Day 将展示第四范式「AI 决策」技术思想力、前沿技术研发及应用实践。 ‍届时,Tech Day 将为线上观众带来以下精彩分享: 展现 AI 高效落地的工程化开发组件及第四范式
机器之心
2022-08-25
1790
KDD线上分享|从自私和理性原则的视角,看联邦学习下的合作均衡理论
联邦学习(federated learning,FL)是指在保护数据隐私的前提下实现分布式多数据源模型训练的学习范式。由于各个数据源的统计异质性在现实场景下广泛存在,同时统计异质性也给联邦学习下合作式的模型学习带来了负面影响,甚至会损害模型性能。 因而,这也带来了一个基本问题:一个机构(client)加入合作网络能否获得增益,即参与合作是否意味着自身模型性能的提升。 事实上,一个机构并非总是与所有机构合作才能带来自身性能的最大化。清华大学三年级博士生崔森等人建立了联邦学习下的合作均衡理论,其中各个机构只与对
机器之心
2022-08-25
3360
“柯南领结”变成现实,字节跳动智创语音团队SAMI发布新一代实时AI变声方案
机器之心报道 机器之心编辑部 这项技术未来在虚拟人、短视频玩法、客服服务、直播互动玩法上有着很大的落地空间。 字节跳动智能创作语音团队 SAMI(Speech, Audio and Music Intelligence)近日发布了新一代的低延迟、超拟人的实时 AI 变声技术。不同于传统的变声,AI 变声是基于深度学习的声音转换(Voice Conversion)技术来实现的,可以实现任意发音人的音色定制,极大程度保留原始音色的特点。 该方案的亮点如下: 在 CPU 单核上就能做到极低延迟的实时输入实时变声,
机器之心
2022-08-25
6330
图神经网络作CV骨干模型,来听听华为诺亚是怎么做的
在计算机视觉领域,骨干网络一直是特征提取的重要部件。从 AlexNet 到 ResNet,卷积网络 CNN 在很长一段时间内一直是视觉任务的标配。近年来,基于注意力机制的 Transformer 和以全连接层为主的 MLP 网络也开始在计算机视觉领域崭露头角。与现有主流 CNN 模型相比,基于 Transformer 或 MLP 的模型在视觉任务上也显示出了良好的性能。 直到现在,关于谁是更好的视觉骨干网络还是一个仍在探索和颇具争议的课题。传统的卷积网络将图像视作一个矩阵或网格,通过滑动窗口对邻域像素点或
机器之心
2022-06-27
7330
伯克利、MIT、剑桥、DeepMind等业内大佬线上讲座:迈向安全可靠可控的AI
直播地址 点击阅读原文,直达直播间: https://jmq.h5.xeknow.com/sl/2863B8 直播答疑 本系列分享每期都设有QA环节,欢迎扫码填写表单并加入交流群,向我们反馈你希望向嘉宾提出的问题。 同时我们将在整个系列讲座结束后,随机选出50位小伙伴,送出赠书《AI新生》一本。
机器之心
2022-06-27
1990
今晚直播赠书,量子科普著作《编程宇宙》中文版即将面世
2006 年,麻省理工学院(MIT)机械工程与物理学教授、量子计算科学家赛斯·劳埃德的经典科普著作《Programming the Universe: A Quantum Computer Scientist Takes On the Cosmos》问世。该书通俗易懂,全面深入,是一本通达量子物理学、计算机科学、复杂系统和宇宙学的必读书。 在书中,劳埃德从最简单的概念「比特」开始,一步步论证宇宙是一台巨大的量子计算机,并给出了具体数据:从大爆炸到现在,宇宙总共对10的92次方个比特执行了10的122次方次
机器之心
2022-05-30
2960
宇宙是台巨大的量子计算机?量子科普著作《编程宇宙》中文版面世 | 赠书
2006 年,麻省理工学院(MIT)机械工程与物理学教授、量子计算科学家赛斯·劳埃德的经典科普著作《Programming the Universe: A Quantum Computer Scientist Takes On the Cosmos》问世。该书通俗易懂,全面深入,是一本通达量子物理学、计算机科学、复杂系统和宇宙学的必读书。 在书中,劳埃德从最简单的概念「比特」开始,一步步论证宇宙是一台巨大的量子计算机,并给出了具体数据:从大爆炸到现在,宇宙总共对10的92次方个比特执行了10的122次方次
机器之心
2022-05-27
6460
CVPR 2022线上论文分享会启动,一起探讨CV领域的热点
随着人工智能(AI)的火热,CVPR、AAAI、NeurIPS、ACL 等顶级学术会议的影响力也愈来越大,每年接收论文、参会人数的数量连创新高。 在过去一年多时间里,机器之心先后举办了「AAAI 2021 论文分享会」、「CVPR 2021 论文分享会」、「ACL 2021 论文分享会」等多场线下学术交流活动以及「ACL 2022 线上论文分享会」,邀请众多学者和论文作者到场分享,为国内的人工智能从业者提供了一个宽松、友好的学术交流环境。 作为计算机视觉(CV)领域的顶级会议,CVPR 每年都会吸引大量研究
机器之心
2022-05-25
4840
佳期投资春季社招火热进行中!
机器之心「ACL 2022 线上论文分享会」将于5月21日开播,本次活动设有 Keynote、 论文分享等环节,就业内关注的 Transformer、大规模预训练模型等 NLP 热门主题邀请顶级专家、论文作者与观众做学术交流。点击查看日程详情。 在分享与交流外,佳期投资将在本次活动中进行人才招聘宣讲。最近看机会、对量化行业感兴趣的小伙伴们请锁定直播不要错过哦! 宣讲时间:5月21日 11:40 - 12:00 佳期投资招聘群 对佳期投资职位感兴趣的小伙伴可以加入本次招聘群咨询更多详情,同时5月
机器之心
2022-05-23
2840
李沐「动手学深度学习」中文课程笔记来了!代码还有详细中文注释
机器之心报道 编辑:张倩 markdown笔记与原课程视频一一对应,Jupyter代码均有详细中文注释,这份学习笔记值得收藏。 去年年初,机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月,超过28000人参与了直播,课程回放在 B 站的播放量达到了上百万次。 这门课程基于李沐等人编写的《动手学深度学习》第二版。《动手学深度学习》既有开源项目,也有纸质书,它覆盖了90年代至今重要的模型,特别是每一章都是一个Jupyter记事本,提供了所有模型的完整
机器之心
2022-05-10
7910
上交ACM班张伟楠副教授,带你动手学强化学习
随着智能感知、数据分析等技术在过去十年间的日渐成熟,智能决策技术开始被越来越多人所关注。强化学习作为智能决策领域的主要技术之一,正在成为学术界和工业界皇冠上的新晋明珠。但是,强化学习的学习难度也同样不低。 最近,上海交通大学ACM班创始人俞勇教授团队编写、多位业内领军人士力荐的强化学习入门书《动手学强化学习》出版,系统地介绍了强化学习的原理和实现,非常适合用来入门强化学习。 本书包含三个部分: 第一部分为强化学习基础,讲解强化学习的基础概念和表格型强化学习方法; 第二部分为强化学习进阶,讨论深度强化学习
机器之心
2022-05-10
6440
各大品牌的下一个代言人,何必是真人
机器之心原创 机器之心编辑部 如果追溯「数字人」概念的起源,最早可以到上世纪 90 年代。当然,那时的数字人大多是存在于影视作品之中的非真人形象。近年来,伴随 CG、人工智能、动态捕捉等技术的不断进步,数字人的互动性和社交属性逐渐增强,虚拟和现实的边界正在消失。 特别是在 2020 年初新冠疫情爆发,以及 2021 年元宇宙概念大火之后,数字人在各行业领域受到的关注度居高不下。阿里、百度、腾讯等互联网大厂悉数入场,投资机构竞相布局,数字人一举成为资本追捧的全新赛道。 各个领域也都涌现出专用的数字人形象,诸如
机器之心
2022-04-18
2340
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档