版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
本文来自社区作者 @mantch ，查看TA的更多动态，可在文末扫描社区名片进入。
textRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。
你可能很难理解如何为LSTM模型的输入准备序列数据。你可能经常会对如何定义LSTM模型的输入层感到困惑。也可能对如何将数字的1D或2D矩阵序列数据转换为LSTM输入层所需的3D格式存在一些困惑。 在本教程中，你将了解如何定义LSTM模型的输入层，以及如何重新调整LSTM模型加载的输入数据。 完成本教程后，你将知道: 如何定义一个LSTM输入层。 如何对一个LSTM模型的一维序列数据进行重新调整，并定义输入层。 如何为一个LSTM模型重新调整多个并行序列数据，并定义输入层。 让我们开始吧。 教程概述 本教程分
1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是9
本文基于Bi-Directional Attention Flow For Machine Comprehension一文
来源：深度学习爱好者本文约3300字，建议阅读10+分钟本文利用可视化的呈现方式，带你深入理解LSTM模型结构。 最近在学习LSTM应用在时间序列的预测上，但是遇到一个很大的问题就是LSTM在传统BP网络上加上时间步后，其结构就很难理解了，同时其输入输出数据格式也很难理解，网络上有很多介绍LSTM结构的文章，但是都不直观，对初学者是非常不友好的。我也是苦苦冥思很久，看了很多资料和网友分享的LSTM结构图形才明白其中的玄机。 本文内容如下： 一、传统的BP网络和CNN网络 二、LSTM网络 三、LSTM的输入
前两篇推文分别介绍了DNN和CNN，今天本文来介绍深度学习的另一大基石：循环神经网络，即RNN。RNN应该算是与CNN齐名的一类神经网络，在深度学习发展史上具有奠基性地位。
BP网络和CNN网络没有时间维，和传统的机器学习算法理解起来相差无几，CNN在处理彩色图像的3通道时，也可以理解为叠加多层，图形的三维矩阵当做空间的切片即可理解，写代码的时候照着图形一层层叠加即可。如下图是一个普通的BP网络和CNN网络。
摘要： 本系列旨在普及那些深度学习路上必经的核心概念，文章内容都是博主用心学习收集所写，欢迎大家三联支持！本系列会一直更新，核心概念系列会一直更新！欢迎大家订阅
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
Keras 是一个兼容 Theano 和 Tensorflow 的神经网络高级包, 用他来组件一个神经网络更加快速, 几条语句就搞定了. 而且广泛的兼容性能使 Keras 在 Windows 和 MacOS 或者 Linux 上运行无阻碍.
参考： 各模型完整代码 周莫烦的教学网站 这个网站上有很多机器学习相关的教学视频，推荐上去学习学习。 Keras 是一个兼容 Theano 和 Tensorflow 的神经网络高级包, 用他来组件一个神经网络更加快速, 几条语句就搞定了. 而且广泛的兼容性能使 Keras 在 Windows 和 MacOS 或者 Linux 上运行无阻碍. 今天来对比学习一下用 Keras 搭建下面几个常用神经网络： 回归 RNN回归 分类 CNN分类 RNN分类 自编码分类 它们的步骤差不多是一样的： [导入模块
本文转载自：知乎专栏 作者：人工智能 原文地址：https://zhuanlan.zhihu.com/p/135320350 本文已经过原文作者授权转载，禁止二次转载。
导读 本文讨论了深层神经网络训练困难的原因以及如何使用Highway Networks去解决深层神经网络训练的困难，并且在pytorch上实现了Highway Networks。 一 、Highway Networks 与 Deep Networks 的关系 深层神经网络相比于浅层神经网络具有更好的效果，在很多方面都已经取得了很好的效果，特别是在图像处理方面已经取得了很大的突破，然而，伴随着深度的增加，深层神经网络存在的问题也就越大，像大家所熟知的梯度消失问题，这也就造成了训练深层神经网络困难的难题。201
机器之心原创 作者：蒋思源 本文讨论并实现了用于序列模型的基本深度方法，其中循环网络主要介绍了传统的 LSTM 与 GRU，而卷积网络主要介绍了最近 CMU 研究者提出的时间卷积网络与实证研究。相比于我们熟知的经典循环网络方法，用 CNN 实现序列建模可能会更有意思，因此本文的实现部分重点介绍了时间卷积网络的实现。 这是机器之心 GitHub 实现项目的第四期，前面几期分别介绍了卷积神经网络、生成对抗网络与带动态路由的 CapsNet。 机器之心项目地址：https://github.com/jiqizhi
在学习深度学习的过程中，我们通常会学到这样一对单词“Encoder”和“Decoder”。其实只要你学习深度学习，“Encoder”和“Decoder”就一定会接触到，并非只是Pytorch所独有。
第10章 使用Keras搭建人工神经网络 第11章 训练深度神经网络 第12章 使用TensorFlow自定义模型并训练 第13章 使用TensorFlow加载和预处理数据 第14章 使用卷积神经网络实现深度计算机视觉 第15章 使用RNN和CNN处理序列 [第16章 使用RNN和注意力机制进行自然语言处理] [第17章 使用自编码器和GAN做表征学习和生成式学习] [第18章 强化学习] [第19章 规模化训练和部署TensorFlow模型]
《Keras快速上手：基于Python的深度学习实战》系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列中的具体应用为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。本章节选自《Keras快速上手：基于Python的深度学习实战》第四章Keras入门部分内容。 福利提醒：在评论区留言，分享你的Keras学习经验，评论点赞数前五名可获得本书。时间截止周五（8月11日）晚22点
目前无论在CV领域还是NLP领域，预训练都是一个很普遍和普适的方法。我们都知道深度学习的模型越庞大，模型参数越多，为了避免过拟合就需要相应大规模的数据集，但对于很多任务而言，样本标注的成本昂贵。相反，大规模无标签数据库相对容易建立，为了充分利用这些无标记数据，我们可以先使用它们在其他一些任务上学习一个好的特征表示，再用于训练目标任务。
Vision Transformer成功的原因被认为是由于Self-Attention建模远程依赖的能力。然而，Self-Attention对于Transformer执行视觉任务的有效性有多重要还不清楚。事实上，只基于多层感知器(MLPs)的MLP-Mixer被提议作为ViTs的一个有吸引力的替代方案。
本文目的是研究使用神经网络对视频帧进行分类的方法，特别是研究将时间信息与视频帧的空间信息一起考虑的体系结构。我们旨在证明，仅将标准卷积神经网络单独应用于视频的每个帧，对于可以捕获视频帧之间的时间模式的模型而言是一种较差的方法。
AI 科技评论按：CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是Momenta高级研究员陈亮对此次大会收录的 PointNet:Deep Learning on Point Sets for 3D Classification and Segmentation 一文进行的解读。 随着激光雷达，RGBD相机等3D传感器在机器人，无人驾驶领域的广泛应用。针对三维点云数据的研究也逐渐从低层次几何特征提取（ PFH, FPFH,VFH等）向高层次语义理解过渡（点云识别，语义分割）。与图像感知领
在介绍LSTM各种参数含义之前我们还是需要先用一个例子(参考LSTM神经网络输入输出究竟是怎样的？Scofield的回答)来理解LSTM。
RNN (Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.
Seq2Seq是指一般的序列到序列的转换任务，特点是输入序列和输出序列是不对齐的，比如机器翻译、自动文摘等等。
本文介绍了语音识别技术中的端到端模型、基于CTC的序列模型、基于序列学习的注意力机制模型、基于3D卷积神经网络的语音识别系统等。其中，端到端模型可以直接从原始音频数据中学习到针对语音识别的抽象表示，具有较好的可扩展性和鲁棒性；而基于CTC的序列模型则通过连接主义学习的方法，将CTC定义的序列映射问题转化为神经网络中的参数优化问题，进一步提高了语音识别的准确率；基于序列学习的注意力机制模型则借鉴了语言学中的注意力机制，通过对输入序列进行加权处理，进一步提高了模型的识别准确率；基于3D卷积神经网络的语音识别系统则利用3D卷积核对输入序列进行卷积处理，提取出序列中的特征信息，进一步提高了模型的识别准确率。
cnocr主要针对的是排版简单的印刷体文字图片，如截图图片，扫描件等。cnocr目前内置的文字检测和分行模块无法处理复杂的文字排版定位。如果要用于场景文字图片的识别，需要结合其他的场景文字检测引擎使用。
循环神经网络（二） ——GRU、LSTM、BRNN、deep RNN （原创内容，转载请注明来源，谢谢） 一、概述 本文主要讲述RNN的其他结构，这些结构比RNN更常用，而且对于自然语言处理，有更高效
【AI100 导读】近年来在图像和语音识别等领域，深度学习技术所取得的突破引起了很大关注。目前在金融领域，深度学习的应用也越来越广泛。那么，深度学习可否应用到股市呢？又会给股民们带来怎样的福利呢？本文
cnocr是用来做中文OCR的Python 3包。cnocr自带了训练好的识别模型，安装后即可直接使用。
本文介绍了OpenAI研究团队在神经网络稀疏计算方向上的最新研究成果，主要围绕稀疏计算内核、微缩的LSTM、压缩任务的表现、以及未来的研究方向等方面展开。
由于使用权重矩阵的方式，会对典型RNN可以学习的模式类型存在一些显着的限制。因此，对于称为长短期存储器网络（Long Short-Term Memory networks）的RNN的变型充满了兴趣。 正如我将在下面描述的，LSTMs比典型的RNN具有更多的控制，这使得LSTMs允许学习更复杂的模式。
本文介绍了一种神经网络稀疏表示学习算法，该算法可以用于高效地训练大型神经网络。该算法使用稀疏块权重矩阵和稀疏线性层，可以大幅减少模型参数和计算开销，从而提高神经网络的训练效率和推理速度。同时，该算法在多种自然语言处理任务上表现出色，包括文本分类、情感分析和机器翻译等。
随着深度学习的快速发展，人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构，这里有十一种对于任何深度学习工程师来说都应该理解的结构，可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。
模型需要知道输入数据的shape，因此，Sequential的第一层需要接受一个关于输入数据shape的参数，后面的各个层则可以自动的推导出中间数据的shape，因此不需要为每个层都指定这个参数。有几种方法来为第一层指定输入数据的shape
导语 Keras是Python中以CNTK、Tensorflow或者Theano为计算后台的一个深度学习建模环境。相对于其他深度学习的框架，如Tensorflow、Theano、Caffe等，Keras在实际应用中有一些显著的优点，其中最主要的优点就是Keras已经高度模块化了，支持现有的常见模型（CNN、RNN等），更重要的是建模过程相当方便快速，加快了开发速度。 笔者使用的是基于Tensorflow为计算后台。接下来将介绍一些建模过程的常用层、搭建模型和训练过程，而Keras中的文字、序列和图像数据预处
最近看到一篇博客，是时间预测问题，数据和代码的原地址在这里， https://www.jianshu.com/p/5d6d5aac4dbd
推送第四日，量化投资与机器学习公众号将为大家带来一个系列的 Deep Learning 原创研究。本次深度学习系列的撰稿人为 张泽旺 ，DM-Master，目前在研究自动语音识别系统。希望大家有所收获，共同进步！ 漫谈RNN之序列建模（机器翻译篇） 1.原理概述 序列学习其实是深度学习中的一个应用非常广泛的概念，例如语音识别、语言建模、机器翻译、机器作曲、机器写稿、自动对话、QA系统等都属于序列学习的领域，今天讲讲解如何运用序列建模的思想来构建一个端对端的机器翻译系统。 序列建模，顾名思义，处理的
近年来，卷积神经网络热度很高，在短时间内，这类网络成为了一种颠覆性技术，打破了从文本、视频到语音多个领域的大量最先进的算法，远远超出其最初在图像处理的应用范围。
这两天全球股市都可谓血雨腥风！ 这个时候，营长照例会点燃一根烟，看着满屏高高低低的K线，心中又出现了那个历史之问：这时候是该卖出手中持仓？还是用剩余资金抄底？ 作为关注 AI 多年的股市老韭菜，营长深知要想完全预测股市是不可能的，但并非无法预测。如果方法得当，就能提高成功的几率。可是什么样的方法才得当呢？心中默念使用数据科学投资的三个关键原则： 过去的表现并不是我们所关心的，我们关心未来的表现。 过去的数据是我们必须学习的，我们没有未来的数据。 不是所有过去发生的都会在未来再次发生。 还是不得操作要领
【导读】本篇论文使用时间门同步学习文本对之间的语义特征，在 Quasi Recurrent Neural Network (QRNN) 模型的基础上进行创新，提出新的模型Cross Temporal Recurrent Network （CTRN）。论文通过对问题和答案对的遗忘门和输出门的信息中获益，从而学习QA的联合序列对。
文章节选自《深度学习入门之PyTorch》 欢迎留言！ 对于人类而言，以前见过的事物会在脑海里面留下记忆，虽然随后记忆会慢慢消 失，但是每当经过提醒，人们往往能够重拾记忆。在神经网络的研究中，让模型充满记忆力的研究很早便开始了，Saratha Sathasivam 于1982 年提出了霍普菲尔德网络，但是由于它实现困难，在提出的时候也没有很好的应用场景，所以逐渐被遗忘。 深度学习的兴起又让人们重新开始研究循环神经网络（Recurrent Neural Network），并在序列问题和自然语言处理等领域取得很
深度学习正在给自然语言处理带来巨大的变革，例如机器翻译，情感分析，问答系统等落地实践。深度学习对NLP的影响主要有如下几点：
LSTM(Long Short-Term Memory) 即长短期记忆，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。其中的内部机制就是通过四个门调节信息流，了解序列中哪些数据需要保留或丢弃。
论文：《Learning Fashion Compatibility with Bidirectional LSTMs》
原文：Diving Into Natural Language Processing https://dzone.com/articles/natural-language-processing-adit-deshpande-cs-unde 作者：Adit Deshpande 编译：KK4SBB 欢迎人工智能领域技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 自然语言处理是研究和实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文主要介绍深度学习在自然语言处理中的应用。
AI 科技评论按：OpenAI 的研究人员们近日发布了一个高度优化的 GPU 计算内核，它可以支持一种几乎没被人们探索过的神经网络架构：带有稀疏块权重的网络。取决于不同的稀疏程度，这些内核的运行速度可以比 cuBLAS 或者 cuSPARSE 快一个数量级。OpenAI 的研究人员们已经通过这些内核在文本情感分析和文本图像的生成中得到了顶尖的成果。AI 科技评论把 OpenAI 的这篇介绍文章翻译如下。 在深度学习领域，模型架构和算法的开发很大程度上受制于 GPU 对基础计算操作的支持到什么程度。具体来说，
【磐创AI 导读】：查看关于本专栏历史文章，请点击文末[阅读全文]。查看本章历史文章，请点击下方蓝色字体进入相应链接阅读。
随着石化行业市场日趋饱和，市场竞争日益激烈，企业利润空间不断被压缩，大多数石化企业急需转型开拓新市场，化工原料价格的波动对于石化企业的决策和利润都会产生直接影响，所以对于化工原料价格精确、高效的预测显得尤为重要。目前业界已有部分实践和相关技术，但仍然存在价格不全、小品类商品价格信息难以获取等痛点。基于此，本项目以1,4-丁二醇为例，先对产品价格影响因素进行分析，并构建化工品价格时序预测模型，寻找化工品价格变化规律，最终实现模型的在线部署。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
