【导读】近日,人工智能学者Ravindra Kompella发表一篇博客,介绍了作者实现的基于keras的机器翻译例子。作者通过一个seq2seq编码器-解码器网络实现英语到法语的自动翻译。作者在博文中详细介绍了自己的模型架构和训练数据,并使用代码片段分步骤对训练过程进行讲解。总之,这是一篇比较详尽的机器翻译应用示例教程,如果你有从事机器翻译或seq2seq模型相关的研究,可以详细阅读一下,相信一定对您的工程和理论都有所帮助。专知内容组编辑整理。 Neural Machine Translation——Us
在文字的建模实践中,一般需要把原始文字拆解成单字、单词或者词组,然后将这些拆分的要素进行索引,标记化供机器学习算法使用。这种预处理叫做标注(Tokenize)。虽然这些功能都可以用python实现,但是Keras提供了现成的方法。
https://blog.csdn.net/aaronjny/article/details/103806954
我近期在研究一个 NLP 项目,根据项目的要求,需要能够通过设计算法和模型处理单词的音节 (Syllables),并对那些没有在词典中出现的单词找到其在词典中对应的押韵词(注:这类单词类似一些少见的专有名词或者通过组合产生的新词,比如 Brexit,是用 Britain 和 exit 组合在一起创造出来表示英国脱欧的新词)。在这两个任务中,能够对单词的发音进行预测是非常有必要的。本文详细记录我解决该问题的过程,希望能够对初学者和具有一定经验的朋友有所帮助。本文代码实现均基于 Python 3 和 Keras 框架。现在让我们开始吧!
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
上周分享了本文上篇,现有分词、机器学习、深度学习库Keras技术知识,下篇将详细介绍达观数据使用深度学习的分词尝试。 基于深度学习方式的分词尝试 基于上面的知识,可以考虑使用深度学习的方法进行中文分词。分词的基础思想还是使用序列标注问题,将一个句子中的每个字标记成BEMS四种label。模型整的输入是字符序列,输出是一个标注序列,因此这是一个标准的sequence to sequence问题。因为一个句子中每个字的上下文对这个字的label类型影响很大,因此考虑使用RNN模型来解决。 环境介绍 测试硬件
用于处理序列的两种基本的深度学习算法分别是循环神经网络(recurrent neural network)和一维卷积神经网络(1D convnet) 与其他所有神经网络一样,深度学习模型不会接收原始文本作为输入,它只能处理数值张量。文本向量化(vectorize)是指将文本转换为数值张量的过程。它有多种实现方法
在这篇文章中,我们将演示如何构建Transformer聊天机器人。 本文聚焦于:使用TensorFlow Dataset并使用tf.data创建输入管道来使用Cornell Movie-Dialogs Corpus,使用Model子类化实现MultiHeadAttention,使用Functional API实现Transformer。
译者 | Arno 来源 | Analytics Vidhya 概览 想开始学习自然语言处理(NLP)吗?如果是,这是完美的第一步。 学习如何进行标识化(tokenization)[1]——这是为构
在本文中,我将对分类任务应用两种不同的方法。我将首先应用一个经典的机器学习分类算法-梯度增强分类器。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。该系列文章会更加聚焦,更加学术,更加深入,也是作者的慢慢成长史。换专业确实挺难的,系统安全也是块硬骨头,但我也试试,看看自己未来四年究竟能将它学到什么程度,漫漫长征路,偏向虎山行。享受过程,一起加油~
提取单词或字符的 n-gram,并将每个 n-gram 转换为一个向量。n-gram 是多个连续单词或字符的集合(n-gram 之间可重叠)。
BERT(Bidirectional Encoder Representations from Transformers)在各种自然语言处理任务中提供了最前沿的结果在深度学习社区引起了轰动。德夫林等人。2018 年在 Google 使用英文维基百科和 BookCorpus 开发了 BERT,从那时起,类似的架构被修改并用于各种 NLP 应用程序。XL.net 是建立在 BERT 之上的示例之一,它在 20 种不同任务上的表现优于 BERT。在理解基于 BERT 构建的不同模型之前,我们需要更好地了解 Transformer 和注意力模型。
机器学习算法不能直接处理分类数据,分类数据必须转换为数字。这适用于当你处理一个序列分类类型的问题,并计划使用深度学习方法,比如长短期循环神经网络(RNN)时。 在本教程中,你将了解如何将您的输入或输出序列数据转换为一个独热编码(one-hot code),以便在Python中深度学习的序列分类问题中使用。 教程概述 本教程分为四个部分: 1. 独热编码是什么? 2. 手动独热编码 3. 独热编码和scikit-learn 4. 独热编码与Keras 独热编码是什么? 独热编码是将分类变量表示为二进制向量。这
【导读】这篇博文介绍了如何在深度学习框架Keras上实现文本摘要问题,探讨了如何使用编码器-解码器递归神经网络体系结构来解决文本摘要问题,如何实现文本摘要问题的不同的编码器和解码器,博文通俗易懂,专知内容组整理出来,希望大家喜欢。 Encoder-DecoderModels for Text Summarization in Keras 用Keras实现基于Encoder-Decoder的文本自动摘要 作者:Jason Brownlee 译者:专知内容组 ▌文本摘要概述 ---- 文本摘要是从一个源文档中
机器学习模型能够对图像、音乐和故事的统计潜在空间(latent space)进行学习,然后从这个空间中采样(sample),创造出与模型在训练数据中所见到的艺术作品具有相似特征的新作品
它允许您使用一组TensorFlow操作并注释构造,以便toco知道如何将其转换为tflite。这在张量流图中嵌入了一个伪函数。这允许在较低级别的TensorFlow实现中嵌入高级API使用信息,以便以后可以替换其他实现。本质上,这个伪op中的任何“输入”都被输入到一个标识中,并且属性被添加到该输入中,然后由构成伪op的组成ops使用。
选自Keras Blog 作者:Francois Chollet 机器之心编译 参与:黄小天、路雪 如何在 Keras 中实现 RNN 序列到序列学习?本文中,作者将尝试对这一问题做出简短解答;本文预设你已有一些循环网络和 Keras 的使用经验。 GitHub:https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py 什么是序列到序列学习? 序列到序列学习(Seq2Seq)是指训练模型从而把一个域的序列(比如英语语句)转化
如果你玩过电子游戏,你就会明白为什么检查点(chekpoint)是有用的了。举个例子,有时候你会在一个大Boss的城堡前把你的游戏的当前进度保存起来——以防进入城堡里面就Game Over了。 机器学
失去一个老用户会带来巨大的损失,大概需要公司拉新10个新用户才能予以弥补。如何预测客户即将流失,让公司采取合适的挽回措施,是每个公司都要关注的重点问题。
这是与我们工作有关的一系列技术职务中的第一个。在iki项目中,涵盖了一些机器学习的应用案例和用于解决各种自然问题的深度学习技术的语言处理和理解问题。
导读:2019 年 11 月末,TensorFlow 的官方 GitHub 账号发布了 TensorFlow 2.1.0-rc 版本,现在,官方最新发布了 TensorFlow 2.1.0 正式版本。据介绍,这将是最后一个支持 Python 2 的版本。除此之外,TensorFlow 2.1.0 还带来了很多重大更新与改进,了解一下。
双向RNN是RNN的一种变体,它对于自然语言处理任务特别有用,并且有时可以提高性能。
你好,世界!!我最近加入Jatana.ai 担任NLP研究员(实习生and),并被要求使用深度学习模型研究文本分类用例。在本文中,我将分享我的经验和学习,同时尝试各种神经网络架构。我将介绍3种主要算法,例如:
1.本文学习fizyr的github工程《keras-retinanet》,此github工程链接:https://github.com/fizyr/keras-retinanet 此链接中已经具备充分且详细的工程使用指导,本文在此基础上实现数据准备部分的csv文件生成、利用检测模型实现视频检测效果这2个功能。
我第一次尝试研究RNN时,我试图先学习LSTM和GRU之类的理论。在看了几天线性代数方程之后(头疼的要死),我在Python深度学习中发生了以下这段话:
Keras是由 Python 编写的神经网络库,专注于深度学习,运行在 TensorFlow 或 Theano 之上。TensorFlow和Theano是当前比较流行的两大深度学习库,但是对初学者来说相对有些复杂。Keras 使用简单,结构清晰,底层计算平台可基于 TensorFlow 或 Theano 之上,功能强大。Keras 可运行于 Python 2.7 或 3.5 环境,完美结合于 GPU 和 CPU,基于 MIT license 发布。Keras 由 Google 工程师François Chollet开发和维护。
如果您在运行此模型时遇到任何问题,请重新安装支持此模型的最后一个版本:v4.30.0。您可以通过运行以下命令来执行:pip install -U transformers==4.30.0。
FLAN-T5 发布在论文扩展指令微调语言模型中 - 这是 T5 的增强版本,已在多种任务中进行微调。
DeBERTa 模型是由 Pengcheng He、Xiaodong Liu、Jianfeng Gao、Weizhu Chen 在DeBERTa: Decoding-enhanced BERT with Disentangled Attention中提出的,它基于 2018 年发布的 Google 的 BERT 模型和 2019 年发布的 Facebook 的 RoBERTa 模型。
在过去的几个月里,我在个人博客上写了100多篇文章。这是相当可观的内容量。我突然想到一个主意:
相信大家经过之前几篇文章的学习,已经对人工智能以及它和Keras的关系有了基本的认识,那么我们即将正式开始对于Keras的学习。
图像描述(Image Captioning)是将图像转化为自然语言描述的任务,它结合了计算机视觉和自然语言处理的技术。图像描述算法的应用广泛,包括机器人视觉、自动驾驶、无人机导航等领域。本文将介绍一种基本的图像描述算法,并使用Python和深度学习框架TensorFlow实现。
激活函数可以通过设置单独的激活层实现,也可以在构造层对象时通过传递activation参数实现。
CPM 模型是由张政彦、韩旭、周浩、柯培、顾宇贤、叶德明、秦宇佳、苏玉生、季浩哲、关健、齐凡超、王晓智、郑亚楠、曾国阳、曹焕琦、陈胜奇、李代轩、孙振波、刘知远、黄民烈、韩文涛、唐杰、李娟姿、朱小燕、孙茂松在CPM: A Large-scale Generative Chinese Pre-trained Language Model中提出的。
LSTM (Long Short Term Memory, 长短期神经网络)是一种特殊的循环神经网络(RNN, Recurrent neural networks)。LSTM 能够通过更新单元状态来学习参数间的长期依赖关系,目前在机器翻译、语言识别等领域有着广泛应用。
接下来我们就应用技术手段,基于Python,建立一个工具,可以阅读和分析川普的Twitter。然后判断每条特定的Twitter是否具有川普本人的性格。
数据在深度学习中的重要性怎么说都不为过,无论是训练模型,还是性能调优,都离不开大量的数据。有人曾经断言中美在人工智能领域的竞赛,中国将胜出,其依据就是中国拥有更多的数据。像Google、amazon、腾讯、阿里巴巴之类的巨头,其产品属性天然拥有大量的数据,那对于个人和小型创业公司,数据从哪儿来呢?
在这段艰难的疫情期间,我们决定建立一个非常简单和基本的卷积神经网络(CNN)模型,使用TensorFlow与Keras库和OpenCV来检测人们是否佩戴口罩。
AI 开发者按,本文的作者是数据科学家 Maël Fabien。在过去的几个月里,他在个人博客上写了 100 多篇文章。这个内容量相当可观。他突然想到一个主意:训练一个能像他一样说话的语言生成模型。
本文的作者是数据科学家 Maël Fabien。在过去的几个月里,他在个人博客上写了 100 多篇文章。这个内容量相当可观。他突然想到一个主意:训练一个能像他一样说话的语言生成模型。
原文标题:How To Create Data Products That Are Magical Using Sequence-to-Sequence Models 作者:Hamel Husain
【导读】 Keras作者、谷歌大脑François Chollet最新撰写的深度学习R语言实战书籍(预计2018年1月出版)《Deep Learning with R》介绍深入学习使用R语言和强大Keras库,详实新颖。这本书围绕着一系列实际应用,使用深度学习来解决实际问题,面向希望学习深度学习的数据科学家和R语言从业者,从实战角度出发带你用R语言快速上手深度学习方法,是R语言开发者不得不看的深度好文。随书同时提供代码,可以让你动手调试改进。 专知最近报道 Chollet 最新深度学习Python教程,详情
为了建立一个基于内容的推荐系统,收集了西雅图152家酒店的酒店描述。正在考虑其他一些训练这种高质量清洁数据集的方法。
本文将从卷积神经网络的角度讨论深度学习。在本文中,我们将使用Keras和Theano,重点关注深度学习的基本原理。本文将展示两个例子——其中一个例子使用Keras进行基本的预测分析,另外一个使用VGG进行图像分析。 我们谈论的话题其实是相当广泛和深入的,需要更多的文章进行探讨。在接下来的一些文章中,我们将会讨论医学影像中DICOM和NIFTI格式之间的不同,并且研究如何使用深度学习进行2D肺分割分析。除此之外,我们还将讨论在没有深度学习时,医学图像分析是如何进行的;以及我们现在如何使用深度学习进行医学图像分
选自reddit 作者:Marc Schmidt 机器之心编译 参与:Rick、李泽南 PyTorch 对机器学习领域的影响正在不断扩大,人们在使用中也在不断将其和其他机器学习框架进行对比。最近,Marc Schmidt 在 Reddit 上撰文对 Keras 和 PyTorch 进行了全面的对比。作者认为,PyTorch 在版本管理和调试等方面具有很大优势。 我可以根据自己作为软件工程师的经验(10 年以上)来给你一些答案。我也参与过很多开源项目,还是几十个开源库的作者,这些库都有成千上万的收藏量和数百
文本生成是NLP的最新应用程序之一。深度学习技术已用于各种文本生成任务,例如写作诗歌,生成电影脚本甚至创作音乐。但是,在本文中,我们将看到一个非常简单的文本生成示例,其中给定输入的单词字符串,我们将预测下一个单词。我们将使用莎士比亚著名小说《麦克白》的原始文本,并根据给定的一系列输入单词来预测下一个单词。
其中loss为自定义函数,使用字典{‘ctc’: lambda y_true, output: output}
领取专属 10元无门槛券
手把手带您无忧上云