AI 科技评论按：比尔·盖茨曾说过，「语言理解是人工智能皇冠上的明珠」，沈向洋博士也说过「懂语言者得天下」。自然语言理解处在认知智能最核心的地位。它的进步会引导知识图谱的进步，会引导对用户理解能力的增强，也会进一步推动整个推理能力。自然语言处理的技术会推动人工智能整体的进展，从而使得人工智能技术可以落地实用化。 微软亚洲研究院副院长周明博士围绕这一观点有过不少系统的阐述。不论是在微软大厦举行的自然语言处理前沿技术分享会活动上，或是近日举办的 EmTech China 峰会上，周明博士围绕自然语言四个方面的进
本文介绍哈尔滨工业大学社会计算与信息检索研究中心（SCIR）录用于EMNLP 2018的论文《Adaptive Multi-Pass Decoder for Neural Machine Translation》中的工作。本文基于将polishing机制引入到机器翻译中，针对不同翻译情况需要不同的解码次数提出了自适应的多轮解码机制，其通过引入策略网络动态根据上下文信息动态决定合适的解码次数，并使用强化学习的方法对其进行训练。在中英机器翻译数据集上证明了此模型的优异性能。
在Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征c再解码，因此， c中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。如机器翻译问题，当要翻译的句子较长时，一个c可能存不下那么多信息，就会造成翻译精度的下降。Attention机制通过在每个时间输入不同的c来解决这个问题，下图是带有Attention机制的Decoder：
人工智能和机器学习可以做很多事，完成许多任务，有些事任务AI很擅长，有些则没那么擅长，目前的趋势表明，翻译就属于AI非常擅长的那种任务。
来源 像seq2seq这样的模型，输入一个序列，输出一个序列，它的评分不像文本分类那样仅仅通过label是否一样来判断算出得分。比如机器翻译，它既要考虑语义，还要考虑语序。所以，在2002年一位国外的大牛（是的，没错基本木有中国人。。）Papineni et.al. 提出了Bleu方法，在Bleu:A method for automatic evaluation of machine translation中。 Bleu维基百科：BLEU (Bilingual Evaluation Understudy)
学计算机的人通常有着比较系统的思维方式，按编程模式来看，即分为定义，分解，以及优化迭代的思路来解决问题。学语言的，极少数上过逻辑课，没有经过推理训练，一般偏向于模糊感性的思维方式。 机器翻译，则是理科
【导读】自然语言处理，即Nature Language Processing，一般简称为“NLP”，是人工智能领域的热点及微软赖以生存的技术。微软亚洲研究院副院长、ACL主席周明博士以《自然语言处理前沿技术》为题就NPL对微软的作用，及NPL的历史和未来进行了讲解与讨论。 人工智能的“新浪潮”已经来临 要想了解自然语言处理，就不得不先了解人工智能。人工智能（AI）技术作为当前最炙手可热的词汇，定是耳熟能详，但人工智能究竟是什么呢？ 人工智能主要包括以下三个层次： 第一是运算智能：即记忆、计算的能力，这一点机
随着信息流和短视频应用的发展，推荐系统已经从传统的单目标浅层网络的中小型架构演进为多目标超大规模深度学习的复杂架构。这种复杂的系统的演进对大规模的训练推理和在线排序提出了非常高的技术要求。 另外随着用户消费内容类型以及业务复杂度的增加，如何更好地理解文字、图片、视频到多模态，乃至用户画像的进一步演进，到最终可以给用户推送最合适的内容，也成为了一个在不断迭代和优化的过程。 11 月 5-6 日，AICon 全球人工智能与机器学习技术大会（北京站）2021 将落地北京。我们邀请到了腾讯看点 CTO 兼副总经理、
嘿, Siri：语音处理 ---- 以 Siri 为例分享了语音处理的一些技术进展。其要点如下： 语音处理可以分为语音识别和语音合成两类任务； 语音合成过程包括文本分析、音韵生成、单元选择、波形串联等
选自medium 作者：Ozan Çağlayan 机器之心编译 参与：蒋思源、Smith 本文总结了最近发表的论文「神经机器翻译的六大挑战（Six Challenges for Neural Machine Translation）」，并希望读者能看到神经机器翻译的不足和未来的发展方向。 该论文论述的神经机器翻译（NMT）六大挑战：领域误匹配、训练数据的总量、生僻词、长句子、词对齐和束搜索（beam search）。 Nematus 和 Moses 都是使用 WMT 和 OPUS 数据集训练 NMT 和
近日，微软亚洲研究院（MSRA）副院长周明在「自然语言处理前沿技术分享会」上，与大家讲解了自然语言处理（NLP）的最新进展，以及未来的研究方向，以下内容由CSDN记者根据周明博士的演讲内容编写，略有删减。 周明博士于1999年加入微软亚洲研究院，不久开始负责自然语言研究组。近年来，周明博士领导研究团队与微软产品组合作开发了微软小冰（中国）、Rinna（日本）、Zo（美国）等聊天机器人系统。周明博士发表了120余篇重要会议和期刊论文（包括50篇以上的ACL文章），拥有国际发明专利40余项。 MSRA在机器翻
近日，微软亚洲研究院（MSRA）副院长周明在「自然语言处理前沿技术分享会」上，与大家讲解了自然语言处理（NLP）的最新进展，以及未来的研究方向，以下内容由CSDN记者根据周明博士的演讲内容编写，略有删减。 周明博士于1999年加入微软亚洲研究院，不久开始负责自然语言研究组。近年来，周明博士领导研究团队与微软产品组合作开发了微软小冰（中国）、Rinna（日本）、Zo（美国）等聊天机器人系统。周明博士发表了120余篇重要会议和期刊论文（包括50篇以上的ACL文章），拥有国际发明专利40余项。 微软亚洲研究院
ChatGPT(Chat Generative Pre-trained Transformer)，是人工智能技术驱动的自然语言处理工具，即AIGC的一款具体的应用和产品。它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。
NVIDIA 创始人兼 CEO 黄仁勋先生关于计算领域之未来的主题演讲。 演讲人：黄仁勋 NVIDIA 创始人兼 CEO 2018/11/21 周三 10：00 - 12：00 | 主会场 三层金鸡湖厅
ChatGPT是一款基于人工智能的语言模型，它可以自动地生成文本，回答问题，完成翻译等任务。ChatGPT是由OpenAI公司开发的，使用了神经网络和深度学习技术。它可以帮助用户自动生成文本，以及模拟人类语言表达的思维模式。
随着全球化进程的加速和国际交流的不断增加，人们对于跨语言沟通的需求也在不断增加。如果机器能够快速准确地将一种语言翻译成另一种语言，则将大大提高沟通效率，促进文化交流，推动经济发展，有助于加强不同国家和地区之间的友好往来。
机器翻译一直是非常吸引研究者的「大任务」，如果某些方法被证明在该领域非常有效，那么它很可能可以扩展到其它问题上。例如 Transformer，它出生于机器翻译家族，却广泛应用于各种序列建模任务。
Sequence to sequence（序列）模型在机器翻译和语音识别方面都有着广泛的应用。下面，我们来看一个机器翻译的简单例子：
11月13日，深圳 - 腾讯AI Lab今日发布了一款AI辅助翻译产品 - “腾讯辅助翻译”（Transmart），可满足用户快速翻译的需求，用AI辅助人工翻译提高效率和质量。该产品采用业内领先的人机交互式机器翻译技术，融合神经网络机器翻译、统计机器翻译、输入法、语义理解、数据挖掘等多项前沿技术，配合亿级双语平行数据，为用户提供实时智能翻译辅助，帮助用户更好更快地完成翻译任务。产品旨在致敬人工翻译，辅助人工翻译更快、更好地完成任务，探索人工智能赋能翻译行业新思路。
春联传统源远流长，一幅写春联的需要极高的文学素养，不仅要求平仄齐整、意境对称，还要表达辟邪除灾、迎祥纳福的美好愿望。
循环神经网络（五） ——Bean搜索、bleu评分与注意力模型 （原创内容，转载请注明来源，谢谢） 一、概述 本文主要讲解机器翻译过程中涉及的算法，主要包括bean搜索算法及其改进与误差分析、bleu
人工智能（AI）是当今世界上最令人振奋的技术之一，而自然语言处理（NLP）则是AI领域的一个引人注目的分支。NLP的目标是让计算机能够理解、处理和生成人类语言。这项技术正在不断演进，如今，它已经成为各种领域，从商业到医疗保健，都能够利用的强大工具。在本文中，我们将深入探讨NLP的基础知识，探讨其应用领域，以及如何通过代码演示来解锁文本数据的价值。
编者按：12月18日，腾讯大数据峰会暨KDD China技术峰会在深圳举行，华为诺亚方舟实验室主任李航博士在会上做了题为《自然语言处理中的深度学习：过去、现在和未来》的演讲，AI科技评论根据现场演讲整
序列模型和注意力机制（Sequence models & Attention mechanism）
基于深度学习的神经网络机器翻译已经在通用翻译、领域翻译、翻译评估和自动译后编辑等多个场景，产生了巨大的商业价值，但是仍然存在着两个典型问题。一方面，过译漏译等质量问题仍然存在；另一方面，端到端的神经网络黑盒架构使专家介入优化比较困难，传统离散知识不能很好融入模型算法。 在 2021 年 11 月 25 日和 26 日，AICon 全球人工智能与机器学习大会（北京）上，我们邀请到了华为文本机器翻译实验室主任杨浩，他将从离散知识和神经网络模型的融合角度为你带来《知识驱动的机器翻译研究和实践》，希望可以为你带来启发。
自然语言处理是一种将自然语言转换为计算机可处理的形式的技术。深度学习是一种非常强大的机器学习技术，它在自然语言处理方面也有广泛的应用。本文将详细介绍深度学习在自然语言处理方面的应用。
一、大数据的初步理解 首先，大数据不是什么完完全全的新生事物，Google的搜索服务就是一个典型的大数据运用，根据客户的需求，Google实时从全球海量的数字资产（或数字垃圾）中快速找出最可能的答案，
自从iPhone 4S开始内置Siri，到现在各种智能音箱，或者扎克伯格说自己做的智能管家， 我认为都算是对话机器人的一类。
自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。
精英人才培养计划是一项校企联合人才培养项目，入选学生将受到业界顶尖技术团队与高校导师的联合指导及培养。培养期间，学生将获得3个月以上到访腾讯开展科研访问的机会，基于真实产业问题及海量数据，验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台，帮助学生挖掘更多潜能。学生通过“十分精英圈”线上平台，随时获取前沿技术资讯、沉淀科研收获与心得；通过“智学研讨会”及“智享交流会”等线下平台，积极参与海内外顶级学术会议及学术专家交流活动；通过“精英研学营”进阶平台，对话产业
下面的鱼骨图就是个人整理的NLP相关的一个学习路线，某种意义上可以理解为一个知识体系，本文将尽量结合示例简单的去描述一下这些基本概念。
前几天，我们介绍了「机器学习领域的七大谣传」，其中一个谣传就是「训练超深度残差网络怎么少得了批归一化（BN）！」。文中介绍了论文《Fixup Initialization: Residual Learning Without Normalization》表明在不引入任何归一化方法的情况下，通过使用原版 SGD，可以有效地训练一个 10,000 层的深度网络。也就是说「训练超深残差网络可以不用批归一化」。
机器之心专栏 机器之心编辑部 这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务，并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。 抽取式文本摘要目前在英文上已经取得了很好的性能，这主要得益于大规模预训练语言模型和丰富的标注语料。但是对于其他小语种语言，目前很难得到大规模的标注数据。 中国科学院信息工程研究所和微软亚洲研究院联合提出一种是基于 Zero-Shot 的多语言抽取式文本摘要模型。具体方法是使用在英文上预训练好的抽取式文本摘要模型来在其他低资源语言上
每天给你送来NLP技术干货！ ---- ©作者 | 机器之心编辑部 来源 | 机器之心 这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务，并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。 抽取式文本摘要目前在英文上已经取得了很好的性能，这主要得益于大规模预训练语言模型和丰富的标注语料。但是对于其他小语种语言，目前很难得到大规模的标注数据。 中国科学院信息工程研究所和微软亚洲研究院联合提出一种是基于 Zero-Shot 的多语言抽取式文本摘要模型。具体方法是使
选自Vas3k.com 作者：Ilya Pestov 英语版译者：Vasily Zubarev 中文版译者：Panda 实现高质量机器翻译的梦想已经存在了很多年，很多科学家都为这一梦想贡献了自己的时间和心力。从早期的基于规则的机器翻译到如今广泛应用的神经机器翻译，机器翻译的水平不断提升，已经能满足很多场景的基本应用需求了。近日，Ilya Pestov 用俄语写的机器翻译介绍文章经 Vasily Zubarev 翻译后发表到了 Vas3k.com 上。机器之心又经授权将其转译成了汉语。希望有一天，机器自己就能
来源：机器之心本文约2500字，建议阅读5分钟本文介绍了基于神经标签搜索情况下，中科院和微软亚研的实验进展。 这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务，并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。 抽取式文本摘要目前在英文上已经取得了很好的性能，这主要得益于大规模预训练语言模型和丰富的标注语料。但是对于其他小语种语言，目前很难得到大规模的标注数据。 中国科学院信息工程研究所和微软亚洲研究院联合提出一种是基于 Zero-Shot 的多语言抽取式文本
【新智元导读】 微软几乎所有和 AI 相关的重要产品，背后都体现了 NLP 技术的重要性，这也是微软亚洲研究院深耕已久的领域。微软亚洲研究院副院长、ACL主席周明博士以《自然语言处理前沿技术》为主题，分享了微软对包括神经网络翻译、聊天机器人、阅读理解等板块在内的 NLP 领域的思考，并接受了新智元等媒体的采访。周博士指出，“语言智能是人工智能皇冠上的明珠”，他认为目前 NLP 技术的发展呈现出六大趋势，同时为大家阐述了未来的 NLP 技术的六大研究方向。 自然语言处理对于微软有多重要？ 微软几乎所有和 AI
近年来，深度学习方法极大的推动了自然语言处理领域的发展。几乎在所有的 NLP 任务上我们都能看到深度学习技术的应用，并且在很多的任务上，深度学习方法的表现大大超过了传统方法。可以说，深度学习方法给 NLP 带来了一场重要的变革。
前几年曾经马少平老师的引荐，为某科普图书写过一篇短文介绍自然语言处理。如果只是介绍NLP的概念、任务和挑战，应该可以参考这篇小文。原文如下，仅供参考。 自然语言处理 Natural Language Processing 一、什么是自然语言处理 简单地说，自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动
选自 einstein.ai 机器之心编译 参与：Nurhachu Null、蒋思源 自然语言处理（NLP）这个领域目前并没有找到合适的初始化方法，它不能像计算机视觉那样可以使用预训练模型获得图像的基本信息，我们在自然语言处理领域更常用的还是随机初始化词向量。本文希望通过 MT-LSTM 先学习一个词向量，该词向量可以表征词汇的基本信息，然后再利用该词向量辅助其它自然语言处理任务以提升性能。本文先描述了如何训练一个带注意力机制的神经机器翻译，其次描述了如何抽取该模型的通用词向量与将其应用于其它任务的性能。
Seq2Seq，全称Sequence to Sequence。它是一种通用的编码器——解码器框架，可用于机器翻译、文本摘要、会话建模、图像字幕等场景中。Seq2Seq并不是GNMT（Google Neural Machine Translation）系统的官方开源实现。框架的目的是去完成更广泛的任务，而神经机器翻译只是其中之一。在循环神经网络中我们了解到如何将一个序列转化成定长输出。在本文中，我们将探究如何将一个序列转化成一个不定长的序列输出（如机器翻译中，源语言和目标语言的句子往往并没有相同的长度）。
设计多个隐藏层，目的是为了获取更多的非线性性。深度循环神经网络需要大量的调参（如学习率和修剪） 来确保合适的收敛，模型的初始化也需要谨慎。
今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区
刚接触 NLP 时常有个疑问，就是如何评估这样一个系统——其输出为文本，而非对输入分类。当把一些文本输入系统，得到的输出也为文本时，这类问题称为 seq2seq 或字符串转导（string transduction）问题。
Google Translate App 以word Lens即时相机翻译黑科技与 基于云计算架构的“统计机器翻译”的强大服务后台，引爆大众关注。“CV交互+移动终端+云计算” 这一跨界结合展示了极大的潜力。
👆点击“博文视点Broadview”，获取更多书讯 广义上讲，“翻译”是指把一个事物转化为另一个事物的过程。 在人类语言的翻译中，一种语言文字通过人脑转化为另一种语言表达，这是一种自然语言的“翻译”。 如图1所示，可以通过计算机将一句汉语自动翻译为英语，汉语被称为源语言（Source Language），英语被称为目标语言（Target Language）。 图 1 通过计算机将一句汉语自动翻译为英语 一直以来，文字的翻译往往是由人完成的。 时至今日，人工智能技术的发展已经大大超越了人类传统的认知，用计
在人类语言的翻译中，一种语言文字通过人脑转化为另一种语言表达，这是一种自然语言的“翻译”。
张裕浩，东北大学自然语言处理实验室 2018 级研究生，研究方向包括神经网络结构搜索、机器翻译。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
