争取每天更新 ? 126 蜗牛的历程： [入门问题] [机器学习] [聊天机器人] [好玩儿的人工智能应用实例] [TensorFlow] [深度学习] [强化学习] [神经网络
本文结构： 什么是神经网络 什么是神经元 神经网络的计算和训练 代码实现 1. 什么是神经网络 神经网络就是按照一定规则将多个神经元连接起来的网络 例如全连接(full connected, FC)神经网络，它的规则包括： 有三种层：输入层，输出层，隐藏层。 同一层的神经元之间没有连接。 full connected的含义：第 N 层的每个神经元和第 N-1 层的所有神经元相连，第 N-1 层神经元的输出就是第 N 层神经元的输入。 每个连接都有一个权值。 不同的神经网络，具有不同的连接规则 2. 什么
本文结构： 什么是神经网络 什么是神经元 神经网络的计算和训练 代码实现 ---- 1. 什么是神经网络 神经网络就是按照一定规则将多个神经元连接起来的网络 例如全连接(full connected, FC)神经网络，它的规则包括： 有三种层：输入层，输出层，隐藏层。 同一层的神经元之间没有连接。 full connected的含义：第 N 层的每个神经元和第 N-1 层的所有神经元相连，第 N-1 层神经元的输出就是第 N 层神经元的输入。 每个连接都有一个权值。 不同的神经网络，具有不同的连接规则 --
Machine Learning Mastery 机器学习算法教程 机器学习算法之旅 利用隔离森林和核密度估计的异常检测 机器学习中的装袋和随机森林集成算法 从零开始实现机器学习算法的好处 更好的朴素贝叶斯：从朴素贝叶斯算法中收益最大的 12 个技巧 机器学习的提升和 AdaBoost 选择机器学习算法：Microsoft Azure 的经验教训 机器学习的分类和回归树 什么是机器学习中的混淆矩阵 如何使用 Python 从零开始创建算法测试工具 通过创建机器学习算法的目标列表来获得控制权 机器学习中算法
作者 | Ray 编辑 | 磐石 出品 | 磐创AI技术团队 【磐创AI导读】：本文主要介绍了RNN与双向RNN网路的原理和具体代码实现。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。进入公众号通过下方文章精选系列文章了解更多keras相关项目。 介绍 通过对前面文章的学习，对深度神经网络(DNN)和卷积神经网络(CNN)有了一定的了解，也感受到了这些神经网络在各方面的应用都有不错的效果。然而这些网络都有一个共同的特点：每一层的神经元之间是相互独立的，如输入层的神经元彼此之间是独立的。然而，现实世界中很
今天的学习资料是这篇文章，写的非常详细，有理论有代码，本文是补充一些小细节，可以二者结合看效果更好： https://zybuluo.com/hanbingtao/note/541458 在文末有关于 RNN 的文章汇总，之前写的大多是概览式的模型结构，公式，和一些应用，今天主要放在训练算法的推导。 本文结构： 模型 训练算法 基于 RNN 的语言模型例子 代码实现 ---- 1. 模型 和全连接网络的区别 更细致到向量级的连接图 为什么循环神经网络可以往前看任意多个输入值 循环神经网络种类繁多，今天只看
第10章 使用Keras搭建人工神经网络 第11章 训练深度神经网络 第12章 使用TensorFlow自定义模型并训练 第13章 使用TensorFlow加载和预处理数据 第14章 使用卷积神经网络实现深度计算机视觉 第15章 使用RNN和CNN处理序列 [第16章 使用RNN和注意力机制进行自然语言处理] [第17章 使用自编码器和GAN做表征学习和生成式学习] [第18章 强化学习] [第19章 规模化训练和部署TensorFlow模型]
常见的神经网络模型结构有前馈神经网络(DNN)、RNN（常用于文本 / 时间系列任务）、CNN（常用于图像任务）等等。具体可以看之前文章：一文概览神经网络模型。
作者：Lai Wei、Kalyanee Chendke、Aaron Markham、Sandeep Krishnamurthy 机器之心编译 参与：路、王淑婷 今日 AWS 发布博客宣布 Apache MXNet 已经支持 Keras 2，开发者可以使用 Keras-MXNet 深度学习后端进行 CNN 和 RNN 的训练，安装简便，速度提升，同时支持保存 MXNet 模型。 感谢 Keras 和 Apache MXNet（孵化）开源项目的贡献者，Keras-MXNet 深度学习后端现已可用。 地址：ht
深度学习在近年来取得了巨大的成功，为许多领域带来了革命性的突破。而在深度学习算法中，循环神经网络（Recurrent Neural Networks，简称RNN）是一种十分重要且常用的模型。RNN在自然语言处理、语音识别、机器翻译等任务中表现出色，具有处理时序数据的能力。本文将介绍RNN的基本原理、应用领域以及一些常见的改进方法。
从本专栏开始，作者正式研究Python深度学习、神经网络及人工智能相关知识。前一篇文章分享了卷积神经网络CNN原理，并通过Keras编写CNN实现了MNIST分类学习案例。这篇文章将详细讲解循环神经网络RNN的原理知识，并采用Keras实现手写数字识别的RNN分类案例及可视化呈现。基础性文章，希望对您有所帮助！
我们当前掌握的网络类型，统称为feed forward网络。这种网络的特点是，当我们把很多条数据输入网络进行训练时，网络没有“记忆性”，也就是网络认为前一条输入的数据与下一条输入的数据之间没有任何联系。然而在实际运用中，输入的数据间往往存在着强联系，特别是在自然语言处理中。
选自data science central 机器之心编译 参与：蒋思源 本文比较了 Keras 支持的主流深度学习框架性能，包括 TensorFlow、CNTK、MXNet 和 Theano，作者希望通过使用同一模型和不同的 Keras 后端，而测试不同框架在不同类型任务中的性能。本文通过五个任务分别测试了 MLP、CNN 和 RNN 模型，机器之心不仅对该试验进行了介绍，同时还使用 Keras（TensorFlow 后端）在 MNIST 数据集上试运行了 CNN。 如果我们对 Keras 在数据科学和深
本来今天在写毕业论文，就不打算更新了，但是写毕业论文挺痛苦的，因为我发现毕业论文的文字不能像公众号这样比较随意，随意的文字不是说不严谨，而是为了便于大家理解，这里就是想吐槽一下，国内写论文的“八股文”现状，反正大家都是一个抄一个的，真的想搞个深度学习模型，把国内的中文论文按照写作风格做个分类，估计最多只能分两类吧，猜猜是那两类？ 说到循环神经网络，其实我印象是比较深的，因为循环神经网络是我接触的第一个深度学习模型，大概在一年半前吧，那时候我还没有深度学习的概念，算是刚入门机器学习。偶然一个机会，听某位老师给
AI 研习社按，近期，AWS 表示 MXNet 支持 Keras 2，开发者可以使用 Keras-MXNet 更加方便快捷地实现 CNN 及 RNN 分布式训练。AI 研习社将 AWS 官方博文编译如下。
一：理论部分 embedding和变长输入处理 序列式问题 循环神经网络 LSTM模型原理 二：实战 keras实现embedding keras搭建循环神经网络 文本生成 文本分类 1.1embed
前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：
在涉及有序数据序列的问题中，例如时间序列预测和自然语言处理，上下文对于预测输出非常有价值。可以通过摄取整个序列而不仅仅是最后一个数据点来确定这些问题的上下文。因此，先前的输出成为当前输入的一部分，并且当重复时，最后的输出结果是所有先前输入的结果以及最后一个输入。 循环神经网络（RNN）架构是用于处理涉及序列的机器学习问题的解决方案。
【导读】本篇文章将介绍如何使用Keras（一个非常受欢迎的神经网络库来构建一个Chatbot）。首先我们会介绍该库的主要概念，然后将逐步教大家如何使用它创建“是/否”应答机器人。我们将利用Keras来实现Sunkhbaatar等人的论文“End to End Memory Networks”中的RNN结构。
【导读】你是不是常常烦恼找不到合适的会议时间？我也经常遇到这种问题。当前人们越来越忙，想要协调合适的会议时间是很困难的。本文中，数据科学家Favio Vázquez介绍了一个基于AI的会议规划系统——
深度学习模型可以处理文本序列、时间序列、一般性序列数据等等。处理序列数据的两个基本深度学习算法是循环神经网络和1D卷积(2D卷积的一维模式)。
自然语言处理的常用方法是循环神经网络。所以接下来会从 character RNN 开始（预测句子中出现的下一个角色），继续介绍RNN，这可以让我们生成一些原生文本，在过程中，我们会学习如何在长序列上创建TensorFlow Dataset。先使用的是无状态RNN（每次迭代中学习文本中的随机部分），然后创建一个有状态RNN（保留训练迭代之间的隐藏态，可以从断点继续，用这种方法学习长规律）。然后，我们会搭建一个RNN，来做情感分析（例如，读取影评，提取评价者对电影的感情），这次是将句子当做词的序列来处理。然后会介绍用RNN如何搭建编码器-解码器架构，来做神经网络机器翻译（NMT）。我们会使用TensorFlow Addons项目中的 seq2seq API 。
LSTMs(Long Short Term Memory networks，长短期记忆网络)简称LSTMs，很多地方用LSTM来指代它。本文也使用LSTM来表示长短期记忆网络。LSTM是一种特殊的RNN网络(循环神经网络)。想要说清楚LSTM，就很有必要先介绍一下RNN。下面我将简略介绍一下RNN原理。
前面我们介绍的全连接神经网络以及卷积神经网络都只能单独处理一个个输入，并且前一个输入和后一个输入往往是没有直接联系。但是，在某些情况下我们需要很好地处理序列信息，即前一个输入与后一个输入是有关系的。比如我们理解一句话的时候，往往需要联系前后的句子才能得到这句话表达的准确含义。序列问题有很多，例如语音对话、文本理解以及视频/音频分析等。今天老shi将给大家介绍深度学习中另外一种非常重要的神经网络类型——循环神经网络RNN，它最擅长处理序列问题！
我第一次尝试研究RNN时，我试图先学习LSTM和GRU之类的理论。在看了几天线性代数方程之后（头疼的要死），我在Python深度学习中发生了以下这段话：
本节介绍循环神经网络及其优化 循环神经网络（RNN，recurrent neural network）处理序列的方式是，遍历所有序列元素，并保存一个状态（state），其中包含与已查看内容相关的信息。在处理两个不同的独立序列（比如两条不同的 IMDB 评论）之间，RNN 状态会被重置，因此，你仍可以将一个序列看作单个数据点，即网络的单个输入。真正改变的是，数据点不再是在单个步骤中进行处理，相反，网络内部会对序列元素进行遍历，RNN 的特征在于其时间步函数
不久前，Google基于Attention机制的机器翻译研究“Attention is All You Need”赚足了眼球。它放弃了机器翻译上常用的CNN、RNN架构，仅采用Attention机制就拿到了业界BLEU评分上的最佳成绩，且训练过程仅需3天半就能完成。当然，这是用了8颗P100 GPU的结果。 于是，人们不免好奇，Attention到底是个什么鬼？它相对于传统LSTM的技术优势在哪里？它所注意的是什么，究竟能解决CNN、RNN所解决不了的什么难题？要知道，Facebook此前刚用CNN
选自Analytics Vidhya 机器之心编译 作者：Pranjal Srivastava 参与：李泽南、蒋思源、黄小天 本文从 RNN 的局限性开始，通过简单的概念与详细的运算过程描述 LSTM 的基本原理，随后再通过文本生成案例加强对这种 RNN 变体的理解。LSTM 是目前应用非常广泛的模型，我们使用 TensorFlow 或 PyTorch 等深度学习库调用它甚至都不需要了解它的运算过程，希望本文能为各位读者进行预习或复习 LSTM 提供一定的帮助。 序列预测问题已经存在很长时间了。它被认为是数
在本文中，长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络，能够学习长期依赖关系
建立一个很酷的机器学习项目确实很不错，但如果你希望其他人能够看到你的作品怎么办呢？当然，你可以将整个项目放在GitHub上，但这只能给程序员看，如果你想给自己家里的老人看呢？GitHub肯定不行，所以我们想要的是将我们的深度学习模型部署成世界上任何人都轻易访问的Web应用程序。
如果这些内置模型层不能够满足需求，我们也可以通过编写tf.keras.Lambda匿名模型层或继承tf.keras.layers.Layer基类构建自定义的模型层。
卷积神经网络能够进行卷积运算，从局部输入图块中提取特征，并能够将表示模块化，同时可以高效地利用数据。这些性质让卷积神经网络在计算机视觉领域表现优异，同样也让它对序列处理特别有效。对于某些序列处理问题，这种一维卷积神经网络的效果可以媲美 RNN，而且计算代价通常要小很多，并且，对于文本分类和时间序列预测等简单任务，小型的一维卷积神经网络可以替代 RNN，而且速度更快
网络层与算子融合是非常有效的方法，本文将配合TensorRT与tflite推理框架介绍下网络层与算子融合的原理与应用。
神经机器翻译(NMT)是一种端到端自动翻译学习方法。它的优势在于它直接学习从输入文本到相关输出文本的映射。它已被证明比传统的基于短语的机器翻译更有效，而且后者需要更多的精力来设计模型。另一方面，NMT模型的训练成本很高，尤其是在大规模翻译数据集上。由于使用了大量参数，它们在推理时的速度也明显变慢。其他限制是翻译稀有单词且无法翻译输入句子的所有部分时的鲁棒性。为了克服这些问题，已经有一些解决方案，例如使用注意力机制来复制稀有词[2]。
作者 | Ray 编辑 | 磐石 出品 | 磐创AI技术团队 【磐创AI导读】：keras系列第六篇，本文主要介绍了LSTM与双向LSTM网路的原理和具体代码实现。长短期记忆(Long Short Term Memory, LSTM)也是一种时间递归神经网络，最早由 Hochreiter & Schmidhuber 在1997年提出，设计初衷是希望能够解决RNN中的长期依赖问题，让记住长期信息成为神经网络的默认行为，而不是需要很大力气才能学会。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。点击公众号下方文
本文分为四个部分，第一部分简要介绍LSTM的应用现状；第二部分介绍LSTM的发展历史，并引出了受众多学者关注的LSTM变体——门控递归单元（GRU）；第三部分介绍LSTM的基本结构，由基本循环神经网络结构引出LSTM的具体结构。第四部分，应用Keras框架提供的API，比较和分析简单循环神经网络（SRN）、LSTM和GRU在手写数字mnist数据集上的表现。
机器之心整理 参与：路雪、蒋思源 2017年，人工智能技术出现了很多新的技术和发展，在这一年中机器之心发布了很多教程类文章，有适合入门学习者的，有适合已经具备专业知识和实践经验的从业者的；有关于语言的，有关于框架的，有关于硬件配置的，甚至还有关于猫片、漫画的…… 教程那么多，你……看完了吗？ 本文对这一年来机器之心发布的教程进行总结，共分为 What 和 How 两大部分，在两大板块下又进行细分，目录如下： What 概念 机器学习基础 深度模型基础 强化学习基础 数学 How
循环神经网络（RNN）是基于序列数据（如语言、语音、时间序列）的递归性质而设计的，是一种反馈类型的神经网络，其结构包含环和自重复，因此被称为“循环”。它专门用于处理序列数据，如逐字生成文本或预测时间序列数据(例如股票价格)。
Seq2Seq[1]框架最初是在神经机器翻译（Neural Machine Translation，NMT）领域中提出，用于将一种语言（sequence）翻译成另一种语言（sequence）。其结构如下图所示：
参考： 各模型完整代码 周莫烦的教学网站 这个网站上有很多机器学习相关的教学视频，推荐上去学习学习。 Keras 是一个兼容 Theano 和 Tensorflow 的神经网络高级包, 用他来组件一个神经网络更加快速, 几条语句就搞定了. 而且广泛的兼容性能使 Keras 在 Windows 和 MacOS 或者 Linux 上运行无阻碍. 今天来对比学习一下用 Keras 搭建下面几个常用神经网络： 回归 RNN回归 分类 CNN分类 RNN分类 自编码分类 它们的步骤差不多是一样的： [导入模块
作者 | Francois Chollet 编译 | 雁惊寒 seq2seq是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使用一维卷积网络。 很多人问这个问题：如何在Keras中实现RNN序列到序列（seq2seq）学习？本文将对此做一个简单的介绍。 什么是seq2seq学习 序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子
深度学习框架哪家强：TensorFlow？Caffe？MXNet？Keras？PyTorch？对于这几大框架在运行各项深度任务时的性能差异如何，各位读者不免会有所好奇。 微软数据科学家Ilia Karmanov最新测试的结果显示，亚马逊MXNet在CNN、RNN与NLP情感分析任务上性能强劲，而TensorFlow仅擅长于特征提取。 测试详情更新在Ilia Karmanov的GitHub项目DeepLearningFrameworks（https://github.com/ilkarman/Deep
选自Keras Blog 作者：Francois Chollet 机器之心编译 参与：黄小天、路雪 如何在 Keras 中实现 RNN 序列到序列学习？本文中，作者将尝试对这一问题做出简短解答；本文预设你已有一些循环网络和 Keras 的使用经验。 GitHub：https://github.com/fchollet/keras/blob/master/examples/lstm_seq2seq.py 什么是序列到序列学习？ 序列到序列学习（Seq2Seq）是指训练模型从而把一个域的序列（比如英语语句）转化
情感分析可能是最常见的 自然语言处理 的应用之一。我无需去额外强调在客服工具中情感分析的重要性。本文将利用循环神经网络，训练出一个基于 IMDB 数据集的电影评论分类器。如果你想了解更多关于深度学习在情感分析中的应用，这里推荐一篇很棒的论文。
递归神经网络被用来分析序列数据。它在隐藏单元之间建立递归连接，并在学习序列后预测输出。 在本教程中，我们将简要地学习如何用R中的Keras RNN模型来拟合和预测多输出的序列数据，你也可以对时间序列数据应用同样的方法。我们将使用Keras R接口在R中实现神经网络：
RNN即循环神经网络，其主要用途是处理和预测序列数据。在CNN中，神经网络层间采用全连接的方式连接，但层内节点之间却无连接。RNN为了处理序列数据，层内节点的输出还会重新输入本层，以实现学习历史，预测未来。 RNN的两个主要改进是LSTM(长短时记忆网络)和GRU(门控循环单元)，二者为基本神经单元增加了额外的功能门，从而更好的实现长时记忆的处理。 在此基础上，通过两层或者多个RNN层的堆叠，可以实现双向循环神经网络(bidirectionalRNN)及深层循环神经网络(deepRNN)。 Ker
同时，本文将使用Keras的API构建模型，以方便模型设计和编写简洁的代码。首先导入相关的库函数：
from keras.preprocessing.sequence import pad_sequences
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
