首页
学习
活动
专区
工具
TVP
发布

机器之心

专栏作者
8964
文章
6341919
阅读量
278
订阅数
自然语言处理五年技术革新,快速梳理 NLP 发展脉络
机器之心发布 机器之心编辑部 机器之心《2020-2021 全球 AI 技术趋势发展报告》节选:顶会趋势(NeurIPS)分析。 2021 年伊始,机器之心发布《2020-2021 全球 AI 技术趋势发展报告》,基于顶会、论文及专利等公共数据、机器之心专业领域数据仓库,通过数据挖掘定位七大趋势性 AI 技术领域。 此外,该报告还邀请了近 100 位专家学者通过问卷调查,形成对这七大技术领域近年发展情况、成熟度与未来趋势的综合总结,并基于 2015-2020 年间的开源论文与专利语料,结合机器之心自有的新闻
机器之心
2023-03-29
7870
ACL 2021论文分享会重磅嘉宾揭晓:李航、刘群Keynote分享,大会主席宗成庆致辞
在全球疫情背景下,国际间的线下学术交流变得十分困难。 这段时间以来,机器之心一直在围绕国际顶级学术会议在国内举办线下活动,促进国内 AI 领域的学术交流。 2020 年底,机器之心举办了 NeurIPS 2020 中国区 MeetUp,报名人数高达 1300 人,受到了国内 AI 社区的极大关注,众多高校、企业积极参与。 2021 年 6 月,机器之心又组织了 CVPR 2021 线下论文分享会,邀请到了虞晶怡(视频致辞)、陶大程、林达华、纪荣嵘、许春景这些业内顶级专家做主题演讲,同时也设置了 12 篇论文
机器之心
2023-03-29
2620
ACL 2021 | 字节跳动Glancing Transformer:惊鸿一瞥的并行生成模型
机器之心专栏 作者:钱利华 本文提出了一种为单步并行生成进行词之间依赖关系建模的方法。基于该方法的模型GLAT在不久前的国际机器翻译大赛(WMT2021)上击败一众自回归翻译系统,夺得了德语到英语方向机器翻译自动评估第一。 目前机器翻译中常用的神经网络模型(例如 Transformer ,LSTM)基本上都是自回归模型(Autoregressive models)。自回归模型在输出句子时是逐词按顺序生成的,每一个输出的词都依赖于之前的输出词。 虽然自回归模型被广泛应用并取得了不错的效果,但是自回归模型要求
机器之心
2023-03-29
4880
并行生成奇点临近!字节跳动GLAT斩获WMT2021大语种德英自动评估第一
机器之心专栏 机器之心编辑部 在刚刚结束的国际机器翻译大赛(WMT2021)上,字节跳动 AI Lab 的火山翻译提交并行翻译系统 GLAT(Glancing Transformer),一举夺得了德语到英语方向机器翻译自动评估第一。这是并行翻译(非自回归)系统首次参加世界级的比赛,击败一众自回归翻译系统。并行翻译系统的崛起给自然语言生成技术的发展指明了新的方向。 作为世界顶级的机器翻译比赛,WMT 大赛自 2006 年以来已经举办了 16 届,每年都会吸引来自世界各地的顶级企业、高校和科研机构参赛。历年参赛
机器之心
2023-03-29
2070
FlowSeq、mBART、BERT-fused、mRASP、mRASP2...你都掌握了吗?一文总结机器翻译必备经典模型(三)
机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期:RNNsearch、Multi-task、attention-model
机器之心
2023-03-29
7160
Unsupervised NMT、PBSMT、coarse-to-fine...你都掌握了吗?一文总结机器翻译必备经典模型(二)
 机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期:RNNsearch、Multi-task、attention-mode
机器之心
2023-03-29
4350
RNNsearch、Multi-task、attention-model...你都掌握了吗?一文总结机器翻译必备经典模型(一)
 机器之心专栏 本专栏由机器之心SOTA!模型资源站出品,每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务,并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA!模型资源站(sota.jiqizhixin.com)即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载,共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期:RNNsearch、Multi-task、attention-mode
机器之心
2023-03-29
2970
揭秘语音到语音翻译黑科技,来挑战国际口语翻译大赛
机器之心发布 字节跳动AI Lab机器翻译团队 作者:董倩倩 语言是人类社会最自然、最有效的交流方式之一,是人类文化融合和信息传播的主要工具。随着全球化与信息化时代的到来,国际间的交流以及信息传播呈现爆发式增长,让计算机理解不同语言并实现语言之间的自动翻译成为人类社会的迫切需求。 语音作为一种自然、便捷且传递信息丰富的语言承载形式,是人类与机器交互的理想方式。 道格拉斯・亚当斯在小说《银河系漫游指南》中提到过一种叫做巴别鱼的神奇生物:体型很小,靠接受脑电波为生。人们可以携带它,它从脑电波中吸收精神频率,转化
机器之心
2023-03-29
2.1K0
CMU副教授Graham Neubig创立新公司,刘鹏飞加盟,致力于优化AI系统开发
机器之心报道 编辑:shanshan 又一位技术大牛出来创业了! 9 月 13 日,卡内基梅隆大学副教授 Graham Neubig 在 Twitter 上宣布,与 @stefan_fee 和 @odashi_en 一起成立了 Inspired Cognition 公司! 「我们的目标是通过工具和专业知识,让构建 AI 系统(尤其是 NLP)变得更容易、更高效。」 1、致力于优化 AI 系统开发 人工智能 (AI) 正在成为与软件一样推动世界进步的力量。然而,与传统的软件工程不同,人工智能工程引入了各种
机器之心
2022-09-14
4320
Meta这篇语言互译大模型研究,结果对比都是「套路」
机器之心报道 机器之心编辑部 你不能这样对比啊。 今年 7 月初,Meta AI 发布了一个新的翻译模型,名为 No Language Left behind (NLLB),我们可以将其直译为「一个语言都不能少」。 顾名思义,NLLB 可以支持 200 + 语言之间任意互译,Meta AI 还把它开源了。平时你都没见到的语言如卢干达语、乌尔都语等它都能翻译。 论文地址:https://research.facebook.com/publications/no-language-left-behind/ 开
机器之心
2022-08-25
9150
今晚,一起来聊聊吸引NLP与CV圈眼球的MoE技术
在过去的十几年里,受到算法设计、数据、算力三大关键因素的推动,深度学习取得了突破性进展,极大地变革了图像分类、机器翻译等领域。 然而在这个过程中,大模型以及数据集的使用是以大量计算需求为代价的。过往的一些研究表明,增强模型的泛化能力以及稳健性离不开大模型的支持,因此,在训练大模型的同时协调好与训练资源的限制非常重要。 一种可行的方法是利用条件计算,该方法不是为单个输入激活整个网络,而是根据不同的输入激活模型的不同部分。这一范式已经在谷歌提出的 Pathway(一种全新的 AI 解决思路,它可以克服现有系统
机器之心
2022-07-06
1K0
吸引机器学习圈眼球的MoE,会成为 NLP 与 CV 的未来吗?
在过去的十几年里,受到算法设计、数据、算力三大关键因素的推动,深度学习取得了突破性进展,极大地变革了图像分类、机器翻译等领域。 然而在这个过程中,大模型以及数据集的使用是以大量计算需求为代价的。过往的一些研究表明,增强模型的泛化能力以及稳健性离不开大模型的支持,因此,在训练大模型的同时协调好与训练资源的限制非常重要。 一种可行的方法是利用条件计算,该方法不是为单个输入激活整个网络,而是根据不同的输入激活模型的不同部分。这一范式已经在谷歌提出的 Pathway(一种全新的 AI 解决思路,它可以克服现有系统
机器之心
2022-07-04
9980
基于神经标签搜索,中科院&微软亚研零样本多语言抽取式摘要入选ACL 2022
机器之心专栏 机器之心编辑部 这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务,并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。 抽取式文本摘要目前在英文上已经取得了很好的性能,这主要得益于大规模预训练语言模型和丰富的标注语料。但是对于其他小语种语言,目前很难得到大规模的标注数据。 中国科学院信息工程研究所和微软亚洲研究院联合提出一种是基于 Zero-Shot 的多语言抽取式文本摘要模型。具体方法是使用在英文上预训练好的抽取式文本摘要模型来在其他低资源语言上
机器之心
2022-06-27
3190
原京东高级副总裁周伯文加入清华电子工程系任长聘教授,创业公司衔远科技浮出水面
机器之心报道 编辑:杜伟、陈萍 又一位业界大牛加入了学界,这次是 IEEE Fellow、原京东集团高级副总裁周伯文。 今日,根据「清华大学电子工程系」公众号的消息,2021 年从京东集团高级副总裁岗位上离职的周伯文受聘为清华大学电子工程系长聘教授以及清华大学惠妍讲席教授。 目前,清华大学电子工程系官网上已经可以搜到周伯文的相关信息。 自 2003 年从科罗拉多大学波尔得分校获得电子和计算机工程博士学位之后,周伯文便一直在业界打拼。他工作的第一站是 IBM,曾担任 IBM Research 人工智能基础研
机器之心
2022-05-30
6780
ICLR 2022 | 减少跨语言表示差异,字节跳动AI Lab通过流形混合增强跨语言迁移
机器之心发布 字节跳动人工智能实验室、加利福尼亚大学圣塔芭芭拉分校 字节跳动人工智能实验室和加利福尼亚大学圣塔芭芭拉分校的研究者提出了跨语言流形混合(X-Mixup)方法为目标语言提供 “折衷” 的表示,让模型自适应地校准表示差异。此方法不仅显著地减少了跨语言表示差异,同时有效地提升了跨语言迁移的效果。 基于多语言预训练语言模型(比如 mBert、XLM-R 等),各种跨语言迁移学习方法取得了不错的迁移效果,但其中许多目标语言的性能仍然远远落后于源语言。字节跳动人工智能实验室和加利福尼亚大学圣塔芭芭拉分校通
机器之心
2022-05-30
5360
机器之心ACL 2022论文分享会干货集锦,6月邀你来CVPR分享会
作为国际最受关注的自然语言处理顶级会议,每年的 ACL 都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 60 届,于 5 月 22-5 月 27 日期间举办。 为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台,2022 年 5 月 21 日,机器之心举办了「ACL 2022 论文分享会」线上学术交流活动。 本次 ACL 论文分享设置了 Keynote、 论文分享、企业招聘等环节,就业内关注的 Transformer、大规模预训练模型等 NLP 热门主题邀请顶级专家、论文作者与观众
机器之心
2022-05-27
6480
谷歌为1000+「长尾」语言创建机器翻译系统,Google翻译已支持部分小众语言
选自arXiv 机器之心编译 编辑:杜伟 当今世界上有 7000 多种语言,其中只有大约 100 种具有机器翻译系统,那其他语言怎么办呢?谷歌正在为这些小众语言创建通用的机器翻译系统。 过去十年,学术和商业机器翻译系统(MT)的质量已经得到了大幅度的提升。这些提升很大程度上得益于机器学习的进展和可用的大规模 web 挖掘数据集。同时,深度学习(DL)和 E2E 模型的出现、从 web 挖掘得到的大型并行单语言数据集、回译和自训练等数据增强方法以及大规模多语言建模等带来了能够支持超过 100 种语言的高质量机
机器之心
2022-05-27
5700
本周六即将开幕,ACL 2022论文分享会邀你云端相聚
作为国际最受关注的自然语言处理顶级会议,每年的 ACL 都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 60 届,即将于 5 月 22-5 月 27 举办。受到疫情影响,国内 NLP 从业者参与大会受到很多限制。 为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台,机器之心组织了「ACL 2022 线上论文分享会」,定档 5 月 21 日云端相聚。 本次 ACL 论文分享设置了 Keynote、 论文分享、企业招聘等环节,就业内关注的 Transformer、大规模预训练模型等
机器之心
2022-05-23
2720
全日程揭晓:倒计时五天,ACL 2022论文分享会邀你云端相聚
作为国际最受关注的自然语言处理顶级会议,每年的 ACL 都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 60 届,即将于 5 月 22-5 月 27 举办。受到疫情影响,国内 NLP 从业者参与大会受到很多限制。 为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台,机器之心组织了「ACL 2022 线上论文分享会」,定档 5 月 21 日云端相聚。 本次 ACL 论文分享设置了 Keynote、 论文分享、企业招聘等环节,就业内关注的 Transformer、大规模预训练模型等
机器之心
2022-05-17
4330
那个在国际翻译大赛上夺冠的模型,字节刚刚给开源了(附夺冠代码)
机器之心发布 作者:钱线、封江涛、周浩 Transformer 等文本生成主流算法的逐词生成对适合并行计算的 GPU 并不友好,会导致 GPU 利用率低下。并行生成有助于解决这一问题。前不久,字节跳动火山翻译团队的并行生成翻译系统 GLAT 拿下了 WMT2021 De-En/En-De 的双料冠军。为了帮助大家跟进这一成果,火山翻译开源了一个名为 ParaGen 的 Pytorch 深度学习框架,其中包含 GLAT 模型复现和 WMT21 的代码。 代码地址:https://github.com/byt
机器之心
2022-04-14
3740
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战,赢鹅厂证书、公仔好礼!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档