机器翻译是一项具有挑战性的任务，包含一些使用高度复杂的语言知识开发的大型统计模型。 神经机器翻译的工作原理是——利用深层神经网络来解决机器翻译问题。 在本教程中，你将了解如何开发一个神经机器翻译系统，
AI科技评论按：前几天，Yann LeCun与其学生 张翔在arXiv上发表了一篇新作「Which Encoding is the Best for Text Classification in Ch
在本文中，我们试图改进对LSTMs的科学理解，特别是语言模型和LSTM中存在的字形模型之间的相互作用。 我们称这种内部语言模型为隐式语言模型（隐式LM）。 本文的贡献：1）在受控条件下建立隐式LM的存在; 2）通过找出它使用的上下文有多少个字符来描述隐式LM的本质。 我们所描述的隐式LM与上面讨论的文献19、20中的语言模型有所不同，因为学习语言模型的背景和要求不同：OCR明确要求学习字形模型而不是语言模型。最近的关于使用LSTM进行OCR的基准文件22并没有涉及这一点，而且据我们所知，文献中也没有涉及。
上周，谷歌AI团队开源了备受关注的“最强NLP模型”BERT的TensorFlow代码和预训练模型，不到一天时间，收获3000多星！
选自arXiv 机器之心编译 参与：蒋思源 在不同层面上使用不同编码方式和语言模型在文本分类任务中到底效果怎样？Yann LeCun 和 Xiang Zhang 在四种语言、14 个数据集上测试了 4
过去的一年里，随着DALL-E 2，Stable Diffusion等图像生成模型的发布，text-to-image模型生成的图像在分辨率、质量、文本忠实度等方面都得到了飞跃性提升，极大促进了下游应用场景的开发，人人都成了AI画家。
论文作者：Dario Amodei , Rishita Anubhai , Eric Battenberg , Carl Case , Jared Casper , Bryan Catanzaro , JingDong Chen , Mike Chrzanowski Baidu USA, Inc., Adam Coates , Greg Diamos Baidu USA, Inc., Erich Elsen Baidu USA, Inc., Jesse Engel , Linxi Fan , Christo
学习、预测和压缩之间存在着密切的联系。ChatGPT的成功吸引了公众的广泛关注，并将学习与预测之间的联系推向了前沿。LLaMA和GPT-4等大型语言模型带来的主要进步是，它们能够根据已知的前几个单词（Token）来出色地预测段落中的下一个单词（Token）。
BERT 自诞生以来就展现出了卓越的性能，GLUE 排行榜上前几名的模型一度也大多使用 BERT。然而，XLNet 的横空出世，打破了 BERT 的纪录。不过，不久之后，剧情再次出现反转，Facebook 创建的改进版 BERT——RoBERTa，登上了 GLUE 排行榜榜首。
原文：https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/?spm
聚合函数对一组值执行计算并返回单一的值。除 COUNT 以外，聚合函数忽略空值，如果COUNT函数的应用对象是一个确定列名，并且该列存在空值，此时COUNT仍会忽略空值。
信息抽取（information extraction），简称IE，即从自然语言文本中，抽取出特定的事件或事实信息，帮助我们将海量内容自动分类、提取和重构。这些信息通常包括实体（entity）、关系（relation）、事件（event）。信息抽取主要包括三个子任务：关系抽取、命名实体识别、事件抽取。
对人工智能领域而言，刚刚过去的2019年，堪称NLP（自然语言处理）年。在这一年里，Bert，XLNet，GPT-2等NLP模型、工具大放异彩，竞相占据各大AI头条。
http://www.robots.ox.ac.uk/~vgg/data/scenetext/
随着机器翻译方法的快速改进，神经机器翻译已经开始在逆合成设计中发挥重要作用，为目标分子找到合理的合成路径。以往的研究表明，利用神经机器翻译的序列到序列框架是解决逆合成设计问题的一种有前途的方法。这项工作中，研究人员使用一个无模板的序列到序列的模型将逆合成设计问题重构为语言翻译问题。该模型是以端到端和完全数据驱动的方式进行训练。与之前翻译反应物和产物的SMILES字符串的模型不同，研究人员引入了一种基于分子片段的新的化学反应表示方式。事实证明，新方法比目前最先进的计算方法产生了更好的预测结果。新方法解决了现有逆合成方法的主要缺点，如生成无效的SMILES字符串。此外，研究人员的方法比现有的方法产生更稳健的预测。
作者：PRANAV DAR 翻译：Nicola 校对：冯羽 本文共4000字，建议阅读8分钟。 本文介绍了图像处理，自然语言处理，以及音频/语音处理三类25个开源数据集。 简介 深度学习（或生活中的大部分领域）的关键是演练。演练各种问题-从图像处理到语音识别。每个问题都有其独特的细微差别和方法。 但是，哪里可以获得这些数据？现今你看到的很多研究论文都使用通常不向公众开放的专有数据集。而这成为了如果你学习并应用你新掌握的技能的阻碍。 如果你也遇到此问题，我们有解决方案提供给你。我们挑选了一系列公开可用的数
Meta最近开源的Llama 3模型再次证明了「数据」是提升性能的关键，但现状是，开源的大模型有一堆，可开源的大规模数据却没多少，而收集、清洗数据又是一项极其费时费力的工作，也导致了大模型预训练技术仍然掌握在少数高端机构的手中。
本篇主要给大家介绍两篇文章：一篇是清华大学发表的XQA，该篇文章主要是针对开放式问答构建了一个跨语言的开放式问答数据集，该数据集（训练集、测试集）主要包括九种语言，9万多个问答。第二篇是澳洲昆士兰阳光海岸发表的Katecheo，该篇文章构建了一个模块化系统，它可以轻易的部署在Kubernetes集群（当前很多大公司都会使用Kubernetes）上用作商用。
https://github.com/facebookresearch/llama
Wisdom in the mind is better than money in the hand.
从图中可以看到，语言信号可以表示为一个d T的matrix。其中，d为向量的维度（不同的表示方法，维度不一样）， T为向量的个数。 同理，文本也可以表示为一个V N的matrix，N表示组成text的token（不同的表示方法，token的含义不一样）的个数，V表示token集合的大小（即token去重后的数量）。 语音信号的预处理通常采用重叠的稠密采样机制，通常T >> N。语音识别问题的输入输出都是matrix，输入vector及输出token的选取，不同的算法有不同的方式。整体来看，语音识别问题就是一个Seq2Seq的变换问题
大约一年前，总部位于纽约布鲁克林的自然语言处理初创公司 Hugging Face 推出了 BigScience。这是一个拥有 900 多名研究人员的国际项目，旨在更好地理解自然语言模型原理和提高大型语言模型的质量。大型语言模型（LLM）能够实现基于文本的数据集识别、预测和生成语言的算法，已经吸引了商业和技术爱好者的广泛关注。但是，它们背后没有像 OpenAI 和 DeepMind 这样的资源，开发 LLM 所需要的昂贵硬件成本仍然是研究人员的困难。
在这个博客中，我尝试构建一个python代码生成器，可以将简单的英语问题语句转换为相应的python代码。
在语言智能新兴领域，大型语言模型（LLM）已成为自然语言处理（NLP）的基石，展示了在理解和生成人类语言方面的卓越能力。这些模型主要在英语数据集上进行训练，显著推进了计算语言学的发展，并在各种任务上设定了新的基准。然而，对英语的这种强调掩盖了人类语言的固有多样性，限制了LLM适用性和创新的范围。从最初就融入非英语语言的复杂性及细微差别的LLM的发展，仍然是一个相对未探索的领域。
当我们在使用Pandas库处理数据时，有时候可能会遇到一个报错：'Series' object has no attribute 'sort'。这个报错的原因是因为Pandas库在较新版本中将'sort'方法改名为'sort_values'方法。
X-RiSAWOZ: High-Quality End-to-End Multilingual Dialogue Datasets and Few-shot Agents
机器之心报道 机器之心编辑部 PRESTO–一个多语言数据集，用于解析现实的面向任务的对话。 虚拟助理正日益融入我们的日常生活。它们可以帮助我们完成很多事情：从设置闹钟到在地图导航，甚至可以帮助残疾人更容易地管理他们的家。随着我们使用这些助手，我们也越来越习惯于使用自然语言来完成那些我们曾经用手完成的任务。 构建强大虚拟助理所面临的最大挑战之一是确定用户想要什么，以及完成这些任务需要哪些信息。在自然语言处理（NLP）的相关文献中，这件事被定义为一个面向特定任务的对话解析任务，其中给定的对话需要由系统解析，以
全世界约有6900种语言，但大多数并没有英语这种数据规模，这也导致大多数的NLP基准仅限于英文任务，这大大制约了自然语言处理的多语言发展。
周末来点烧脑的，Salesforce爱因斯坦发布以来究竟做了哪些事情，做了哪些高科技含量的事情，下面我们就来一起看一看Salesforce爱因斯坦在自然语言处理领域的最新研究吧。
前几天，Facebook发了一个百种语言互译的模型M2M-100，这边谷歌着急了，翻译可是我的老本行啊。
这个工具来自MIT，并且还是在线、免费，可以用它来生成各种字符的44.1 kHz声音。
前者使用文本的字符、位置和掩码图像等输入来为文本生成或编辑生成潜在特征。后者采用OCR模型将笔划数据编码为嵌入，与来自分词器的图像描述嵌入相结合，以生成与背景无缝融合的文本。作者在训练中采用了文本控制扩散损失和文本感知损失，以进一步提高写作准确性。据作者所知，AnyText是第一个解决多语言视觉文本生成的工作。 值得一提的是，AnyText可以与社区现有的扩散模型相结合，用于准确地渲染或编辑文本。经过广泛的评估实验，作者的方法在明显程度上优于其他所有方法。 此外，作者还贡献了第一个大规模的多语言文本图像数据集AnyWord-3M，该数据集包含300万个图像-文本对，并带有多种语言的OCR注释。基于AnyWord-3M数据集，作者提出了AnyText-benchmark，用于评估视觉文本生成准确性和质量。 代码：https://github.com/tyxsspa/AnyText
（选自Analytics Vidhya；作者：Pranav Dar；磐石编译） 目录 介绍 图像处理相关数据集 自然语言处理相关数据集 语音处理相关数据集 Supplement 一．介绍 通常来说，深度学习的关键在于实践。从图像处理到语音识别，每一个细分领域都有着独特的细微差别和解决方法。 然而，你可以从哪里获得这些数据呢？现在大家所看到的大部分研究论文都用的是专有数据集，这些专有数据集又通常不会公开。那么，想实践那些最新的理论方法往往就成了难题。 如果你也遇到了这样的问题，接下来我们会提供了一系列可用
现存的预训练模型中没有一种可以完美的适用于所有任务，这也给预训练模型的选择带来困难。对于这个问题，论文提供了一种切实可行的解决方案，即UER（Universal Encoder Representations）。
机器之心报道 编辑：蛋酱 可以确定的是，人工标注员完全没懂 Reddit 网友的梗。 去年，谷歌发布了 GoEmotions 数据集，该数据集包含 58K 人工标注的 Reddit 评论，其中涉及 27 种情绪。 但一位名叫 Edwin Chen 的机器学习工程师却在使用该数据集的时候，偶然发现了一些令人哭笑不得的错误。 他们本来尝试自己在 GoEmotions 数据集上训练模型，注意到似乎存在一些深层的质量问题。于是他们随机抽取了 1000 条评论，在其中 308 条中发现了严重错误。 这里举一些有代表
链接：https://pan.baidu.com/s/1uK9Cq55RZinAIDAcdCOLuw 提取码：sjpy
使用一 维卷积对英语文本进行情感分类。我们要使用的数据集是 IMDB 电影评论数据集，数 据分为正面评论和负面评论。这个数据集直接从 Tensorflow 中获得：
自然语言处理（Natural Language Processing，NLP）领域的发展取决于语言资源的存在：书面、口头或手语的数字化资源集合，通常会带有高级的标签或者注释，反映了NLP系统对当前任务的预期输出（例如，语音识别系统的高级文本或者对话系统中高标准用户的意向标签，如Siri、Alexa或Google Home等）。无监督、弱监督、半监督或远程监督的机器学习技术降低了对标记数据的总体依赖性，但即使使用了这些算法，也还需要有足够的标记数据来评估系统的性能，并且通常需要更多的未标记数据集来支持需要大量数据的机器学习技术。
作者 | 黄楠 编辑 | 陈彩娴 9月21日，OpenAI 发布了一个名为「Whisper 」的神经网络，声称其在英语语音识别方面已接近人类水平的鲁棒性和准确性。 「Whisper 」式一个自动语音识别（ASR）系统，研究团队通过使用从网络上收集的68万个小时多语音和多任务监督数据，来对其进行训练。 训练过程中研究团队发现，使用如此庞大且多样化的数据集可以提高对口音、背景噪音和技术语言的鲁棒性。 此前有不同研究表明，虽然无监督预训练可以显著提高音频编码器的质量，但由于缺乏同等高质量的预训练解码器，以及特定于
DQL（Data QueryLanguage ）数据查询语言，基本结构是由SELECT子句，FROM子句，WHERE子句组成的查询块。
通常，平台使用数据是存放在数据库中，单词的存放，需要创建一个数据表，用于存放zk考研单词大纲。
AI 科技评论按：在单词和短语之间进行语音区分，如区分「I」m hear」和「I」m here」或区分「I can」t so but tons」和「I can」t sew buttons」，这样的事情每个人都遇到，尤其是遇到自动更正的短信、社交媒体上的帖子之类的时候。尽管乍看之下，语音相似性似乎只能对可听单词进行量化，但这个问题常常出现在纯文本空间中。
近日，谷歌发布了包含 7 种语言释义对的全新数据集，即：PAWS 与 PAWS-X。BERT 通过该数据集的训练，在释义对问题上的精度实现了约为 3 倍的提升；其它先进的模型也能够利用该数据集将精度提高到 85-90%。谷歌希望这些数据集将有助于推动多语言模型的进一步发展，并发布了相关文章介绍了该数据集，我们将其整理编译如下。
原文标题：Releasing PAWS and PAWS-X: Two New Datasets to Improve Natural Language Understanding Models
在本文中，作者提出了M3P，一个多任务、多语言、多模态预训练模型 ，通过多任务预训练目标将多语言预训练和多模态预训练结合到一个统一的框架中。M3P的目标是学习通用的表示，可以将以不同方式出现的对象或以不同语言表达的文本映射到一个公共语义空间。
内容概述：方言是语音识别技术发展中必须要迈过去的坎儿，那么如何让模型能够听懂和理解方言呢？使用优质的数据集是一种的方法，本文将介绍一个经典的方言录音数据集 TIMIT。
论文：Beyond English-Centric Multilingual Machine Translation
本文是《NLP 可以很好玩》系列教程的第二篇，由作者 Adam Geitgey 授权在人工智能头条翻译发表。
【新智元导读】Facebook 昨天推出了基于深度学习的文本理解引擎 DeepText，使用多个深度神经网络构架，结合监督学习与无监督学习，可以从零开始，在词和字符的水平上进行学习。官方称 DeepText 准确率已达到人类水平，该技术有望革新新闻订阅和广告推送模式。将来 DeepText 变得更加智能，再与 Facebook 虚拟助理 M 整合，Facebook 就能更好地连接商家与消费者，在平台上形成一个闭环。当用户的资讯、社交、消费和娱乐等需求都能在 Facebook 得到满足时，还会有人使用谷歌搜索
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
