将秩为R张量的给定维数分解为秩为(R-1)张量。通过沿着轴维对num张量进行切分，从值中解压缩num张量。如果没有指定num(默认值)，则从值的形状推断它。如果value.shape[axis]未知，将引发ValueError。
时间序列预测是指我们必须根据时间相关的输入来预测结果的问题类型。时间序列数据的典型示例是股市数据，其中股价随时间变化。
使用 https://github.com/keras-team/keras-contrib实现的crf layer，
本节介绍循环神经网络及其优化 循环神经网络（RNN，recurrent neural network）处理序列的方式是，遍历所有序列元素，并保存一个状态（state），其中包含与已查看内容相关的信息。在处理两个不同的独立序列（比如两条不同的 IMDB 评论）之间，RNN 状态会被重置，因此，你仍可以将一个序列看作单个数据点，即网络的单个输入。真正改变的是，数据点不再是在单个步骤中进行处理，相反，网络内部会对序列元素进行遍历，RNN 的特征在于其时间步函数
def flatten(inputs, outputs_collections=None, scope=None): """Flattens the input while maintaining the batch_size. Assumes that the first dimension represents the batch. Args: inputs: A tensor of size [batch_size, ...]. outputs_collections: Coll
在张量中创建多个张量。参数张量可以是张量的列表或字典。函数返回的值与张量的类型相同。这个函数是使用队列实现的。队列的QueueRunner被添加到当前图的QUEUE_RUNNER集合中。 如果enqueue_many为False，则假定张量表示单个示例。一个形状为[x, y, z]的输入张量将作为一个形状为[batch_size, x, y, z]的张量输出。如果enqueue_many为真，则假定张量表示一批实例，其中第一个维度由实例索引，并且张量的所有成员在第一个维度中的大小应该相同。如果一个输入张量是shape [*， x, y, z]，那么输出就是shape [batch_size, x, y, z]。容量参数控制允许预取多长时间来增长队列。返回的操作是一个dequeue操作，将抛出tf.errors。如果输入队列已耗尽，则OutOfRangeError。如果该操作正在提供另一个输入队列，则其队列运行器将捕获此异常，但是，如果在主线程中使用该操作，则由您自己负责捕获此异常。
对n维logit张量的第n维执行softmax。对于二维logits，这可以归结为tf.n .softmax。第n个维度需要具有指定数量的元素(类的数量)。
此博文是我们在完成实战五·用RNN(LSTM)做手写数字识别的基础上使用BiRNN(LSTM)结构，进一步提升模型的准确率，1000steps准确率达到99%。
你可能很难理解如何为LSTM模型的输入准备序列数据。你可能经常会对如何定义LSTM模型的输入层感到困惑。也可能对如何将数字的1D或2D矩阵序列数据转换为LSTM输入层所需的3D格式存在一些困惑。 在本教程中，你将了解如何定义LSTM模型的输入层，以及如何重新调整LSTM模型加载的输入数据。 完成本教程后，你将知道: 如何定义一个LSTM输入层。 如何对一个LSTM模型的一维序列数据进行重新调整，并定义输入层。 如何为一个LSTM模型重新调整多个并行序列数据，并定义输入层。 让我们开始吧。 教程概述 本教程分
在tensor_list中生成每个张量的切片。使用队列实现——队列的QueueRunner被添加到当前图的QUEUE_RUNNER集合中。
Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都需要提前定义好网络的结构，也就是常说的“计算图”。
持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第4天，点击查看活动详情
原项目 | https://github.com/aymericdamien/TensorFlow-Examples/
这是一个造轮子的过程，但是从头构建LSTM能够使我们对体系结构进行更加了解，并将我们的研究带入下一个层次。
这篇文章作者的思路也是将target和context进行交互获取句子的准确表达，利用的模型是attention。与上面几个模型不同的在于，这里考虑了target可能存在好几个word组成的短语，另外添加了一层对于target的attention操作用于计算权重。提出了Interactive Attention Networks(IAN)， 整体模型框架如下：
审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。
随着全球化进程的不断深化，法庭面临了越来越多来自不同语言和文化背景的当事人，这使得法庭口译工作显得尤为重要。传统的口译方法在效率和准确性方面存在挑战，因此需要一种更先进的、能够实时翻译的系统来满足法庭口译的需求。
本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。
选自arxiv 机器之心编译 参与：吴攀、李亚洲、蒋思源 机器翻译一直是人工智能研究领域的重头戏，自去年谷歌推出了神经机器翻译（GNMT）服务以来，相关技术的研发并没有止步不前，在多语言翻译和 zero-shot 翻译上也取得了引人注目的进展。近日，谷歌大脑和英伟达联合发布的一篇论文《序列到序列模型可以直接转录外语语音（Sequence-to-Sequence Models Can Directly Transcribe Foreign Speech）》将机器翻译这方面的研究又向前推进了一步，实现了从一种语
2017年华中科技大学在发表的论文《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition》提出了一个识别文本的方法，这种方法就是CRNN。该模型主要用于解决基于图像的序列识别问题，特别是场景文本识别问题。
1. Relation Classification via Recurrent Neural Network（Zhang 2015）
拥有思维导图或流程将引导我们朝着探索和寻找实现目标的正确道路的方向发展。如果要给我一张图片，我们如何找到车牌并提取文字？
前言：本文简要介绍了循环神经网络RNN以及其变体长短时记忆LSTM和双向循环网络。
论文名称：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS
循环神经网络（RNN）已经在众多自然语言处理中取得了大量的成功以及广泛的应用。但是，网上目前关于 RNNs 的基础介绍很少，本文便是介绍 RNNs 的基础知识，原理以及在自然语言处理任务重是如何实现的。文章内容根据 AI 研习社线上分享视频整理而成。 在近期 AI 研习社的线上分享会上，来自平安科技的人工智能实验室的算法研究员罗冬日为大家普及了 RNN 的基础知识，分享内容包括其基本机构，优点和不足，以及如何利用 LSTM 网络实现语音识别。 罗冬日，目前就职于平安科技人工智能实验室，曾就职于百度、大众点评
随着深度学习在NLP领域的发展，产生很多深度网络模型用于求解各类的NLP问题，在这众多的网络模型中，无疑都会使用到词向量的概念，这就不得不提及word2vec[1]词向量生成工具。从word2vec词向量工具的提出后，预训练的词向量成了众多NLP深度模型中的重要组成部分。然而传统的word2vec生成的词向量都是上下文无关的，其生成的词向量式固定，不会随着上下文的改变而改变，这种固定的词向量无法解决一词多义的问题。比如“bank”这个词，既可以表示“河岸”，也可以表示“银行”。Embeddings from Language Models（ELMo）[2]是2018年提出的一种基于上下文的预训练模型，研究人员认为一个好的预训练语言模型应该能够包含丰富的句法和语义信息, 并且能够对多义词进行建模。
深度学习是一个由多个处理层组成的机器学习领域，用于学习具有多个抽象层次的数据表示。典型的层次是人工神经网络，由前向传递和后向传递组成。正向传递计算来自前一层的输入的加权和，并通过非线性函数传递结果。向后传递是通过导数链规则计算目标函数相对于多层模块堆栈权重的梯度。深度学习的关键优势在于表示学习的能力以及向量表示和神经处理赋予的语义合成能力。这允许机器输入原始数据，并自动发现分类或检测所需的潜在表示和处理。
在本文中，我将进一步介绍BERT，这是最流行的NLP模型之一，它以Transformer为核心，并且在许多NLP任务（包括分类，问题回答和NER）上均达到了最先进的性能。
摘要： 本系列旨在普及那些深度学习路上必经的核心概念，文章内容都是博主用心学习收集所写，欢迎大家三联支持！本系列会一直更新，核心概念系列会一直更新！欢迎大家订阅
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
上一篇【论文】Awesome Relation Extraction Paper（关系抽取）（PART I）介绍了一些关系抽取和关系分类方面的经典论文，主要是以CNN模型为主，今天我们来看看其他模型的表现吧~
选自arXiv 作者：Azalia Mirhoseini等 机器之心编译 参与：吴攀、李泽南 众所周知，深度学习是非常计算密集的，合理分配计算资源对于提升运算速度、节省能源等有着至关重要的价值。近日，谷歌的一篇 ICML 2017 论文提出了一种使用强化学习优化设备配置的方法，据称可以在一些网络计算上实现优于专家优化的方法的表现。机器之心对本文进行了摘要介绍。 论文：使用强化学习的设备配置优化（Device Placement Optimization with Reinforcement Learning
于是提出了一种解决ABSA问题的多粒度注意力网络（Multi-grained Attention Network， MGAN），主要的改进有：
语言模型（LM）是很多自然语言处理（NLP）任务的基础。早期的 NLP 系统主要是基于手动编写的规则构建的，既费时又费力，而且并不能涵盖多种语言学现象。直到 20 世纪 80 年代，人们提出了统计语言模型，从而为由 N 个单词构成的序列 s 分配概率，即：
如果这些内置模型层不能够满足需求，我们也可以通过编写tf.keras.Lambda匿名模型层或继承tf.keras.layers.Layer基类构建自定义的模型层。
深度学习在近年来取得了巨大的成功，为许多领域带来了革命性的突破。而在深度学习算法中，循环神经网络（Recurrent Neural Networks，简称RNN）是一种十分重要且常用的模型。RNN在自然语言处理、语音识别、机器翻译等任务中表现出色，具有处理时序数据的能力。本文将介绍RNN的基本原理、应用领域以及一些常见的改进方法。
mask+attention，mask的word结合全部其他encoder word的信息
深度学习模型可以处理文本序列、时间序列、一般性序列数据等等。处理序列数据的两个基本深度学习算法是循环神经网络和1D卷积(2D卷积的一维模式)。
翻译 / 唐青 校对 / 李宇琛 整理 / 雷锋字幕组 本文提供了神经网络结构速查表，全面盘点神经网络的大量框架，并绘制直观示意图进行说明，是人手必备的神经网络学习小抄。昨天，我们发布了 史上最好记的神经网络结构速记表（上） ，今天继续来看其余的14种神经网络结构。 新的神经网络结构不断涌现，我们很难一一掌握。哪怕一开始只是记住所有的简称（ DCIGN，BiLSTM，DCGAN ），也会让同学们吃不消。 所以我决定写篇文章归纳归纳，各种神经网络结构。它们大部分都是神经网络，也有一些是完全不同的结构。虽然所
在本文中，我们将看到如何创建语言翻译模型，这也是神经机器翻译的非常著名的应用。我们将使用seq2seq体系结构通过Python的Keras库创建我们的语言翻译模型。
从视频的物理事件中识别物体并推断其运动轨迹的能力是人类认知发展的核心。人类，即使是幼儿，也能够通过运动将图片区域划分为多个物体，并使用物体的永久性、实体性和连贯性的概念来解释发生了什么，推断将发生什么以及想象在反事实情况下会发生什么。
(1) 使用理念方面：在原先的词向量模型中, 每个词对应着一个向量, 但是这个模型是根据一个句子赋予每个词汇向量. 因此对于一个 n-tokens 的输入NLP任务模型, 输入到NLP任务模型的是n个向量. 这个论文中提出的方法, 是在NLP模型的输入之前需要再加一个动态计算词向量的前向网络, 我们称其为BiLMs, 而这个前向网络是提前在一个大的数据集上训练好的. 而这个前向网络的输入是n个更初始的词向量.
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
在本教程中，我们将创建一个行为，使一个形状绕着另一个形状运行，例如卫星。我们会在生成形状时决定是否具有卫星。如果是的话，那么我们还将生成它的卫星。这意味着每次生成一个形状时，我们可能都会得到更多的新形状，而不是以前总的是一个。
选自MetaMind 作者：Alexander Rosenberg Johansen 机器之心编译 参与：机器之心编辑部 自然语言处理是人工智能研究的核心问题之一。近日，已宣布被 Salesforce 收购的深度学习公司 MetaMind 在其官方网站上发表了一篇文章，深度剖析了 LSTM 和词袋模型在自然语言处理上的应用。文章中有一些交互式图示，感兴趣的读者可以浏览原网页查阅。本文作者为 MetaMind 研究科学家 Alexander Rosenberg Johansen。据介绍，该研究的相关论文将会很
前一篇讲解了TensorFlow如何保存变量和神经网络参数，通过Saver保存神经网络，再通过Restore调用训练好的神经网络。本文将详细讲解循环神经网络RNN和长短期记忆网络LSTM的原理知识，并采用TensorFlow实现手写数字识别的RNN分类案例。
将这些架构绘制成节点图的一个问题：它并没有真正展示这些架构的工作方式。比如说，变自编码器（VAE）可能看起来和自编码器（AE）一样，但其训练过程却相当不同。训练好的网络的使用案例之间的差别甚至更大，因为 VAE 是生成器（generator），你可以在其中插入噪声来得到新样本；而 AE 只是简单地将它们的输入映射到其所「记得」的最接近的训练样本。所以必须强调：这篇概览中的不同节点结构并不能反映出这些架构的内在工作方式。 列出一份完整的列表实际上是不可能的，因为新架构一直在不断出现。即使已经发表了，我们
长短期记忆网络（LSTM），作为一种改进之后的循环神经网络，不仅能够解决 RNN无法处理长距离的依赖的问题，还能够解决神经网络中常见的梯度爆炸或梯度消失等问题，在处理序列数据方面非常有效。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
