为了解决深度学习中常见的梯度消失（gradient explosion）和梯度爆炸（gradients vanishing）问题，tensorflow中所有的优化器tf.train.xxxOptimizer都有两个方法：
我们都知道，TensorFlow为我们提供了丰富的优化函数，例如GradientDescentOptimizer。这个方法会自动根据loss计算对应variable的导数。示例如下：
在训练深度神经网络的时候,我们经常会碰到梯度消失和梯度爆炸问题,scientists提出了很多方法来解决这些问题,本篇就介绍一下如何在tensorflow中使用clip来address这些问题
本文简单介绍梯度裁剪(gradient clipping)的方法及其作用，不管在 RNN 或者在其他网络都是可以使用的，比如博主最最近训练的 DNN 网络中就在用。
实战是学习一门技术最好的方式，也是深入了解一门技术唯一的方式。因此，NLP专栏计划推出一个实战专栏，让有兴趣的同学在看文章之余也可以自动动手试一试。
本文代码的github连接：https://github.com/princewen/tensorflow_practice/tree/master/chat_bot_seq2seq_attention 1、attention model原理介绍 1.1 attention model 为什么要有attention机制 原本的Seq2seq模型只有一个encoder和一个decoder，通常的做法是将一个输入的句子编码成一个固定大小的state，然后作为decoder的初始状态（当然也可以作为每一时刻的输入
参考 Tensorflow学习——Eager Execution - 云+社区 - 腾讯云
github：https://github.com/sladesha/deep_learning
DeepFM，Ctr预估中的大杀器，哈工大与华为诺亚方舟实验室荣耀出品，算法工程师面试高频考题，有效的结合了神经网络与因子分解机在特征学习中的优点：同时提取到低阶组合特征与高阶组合特征，这样的称号我可以写几十条出来，这也说明了DeepFM确实是一个非常值得手动撸一边的算法。
在强化学习中，多智能体系统涉及到多个智能体相互作用的情况。在本篇博客中，我们将介绍如何在 OpenAI Gym 中构建和训练多智能体系统，并使用 Multi-Agent Deep Deterministic Policy Gradients（MADDPG）算法进行协同训练。
最近，在研究深度学习方面的知识，结合Tensorflow，完成了基于lstm的小说预测程序demo。 lstm是改进的RNN，具有长期记忆功能，相对于RNN,增加了多个门来控制输入与输出。原理方面的知识网上很多，在此，我只是将我短暂学习的tensorflow写一个预测小说的demo,如果有错误，还望大家指出。 1、将小说进行分词，去除空格，建立词汇表与id的字典，生成初始输入模型的x与y def readfile(file_path): f = codecs.open(file_path, 'r',
def clip_gradient_norms(gradients_to_variables, max_norm): clipped_grads_and_vars = [] for grad, var in gradients_to_variables: if grad is not None: if isinstance(grad, ops.IndexedSlices): tmp = clip_ops.clip_by_norm(grad.values, max_norm)
之前在基于Tensorflow的神经网络解决用户流失概率问题写了一个MLPs的网络，很多人在问，其实这个网络看起来很清晰，但是却写的比较冗长，这边优化了一个版本更方便大家修改后直接使用。
深度学习和神经网络的兴起为现代社会带来了各种机会和应用，例如对象检测和文本转语音。然而，尽管看似准确性很高，但神经网络（以及几乎所有机器学习模型）实际上都可能受到数据（即对抗性示例）的困扰，而这些数据是从原始训练样本中进行的非常轻微的操纵。实际上，过去的研究表明，只要您知道更改数据的“正确”方法，就可以迫使您的网络在数据上表现不佳，而这些数据在肉眼看来似乎并没有什么不同！这些对数据进行有意操纵以降低模型精度的方法称为对抗性攻击，而攻击与防御之战是机器学习领域中持续流行的研究主题。
（1）grads = K.gradients(loss, model.input)[0]报错显示RuntimeError: tf.gradients is not supported when eager execution is enabled. Use tf.GradientTape instead.。然后修改为
好奇心 https://pathak22.github.io/noreward-rl/ 建议电脑上结合源代码一起看 train.py 封装了各种启动命令 def create_commands(se
我们要明确任务是通过一个文本序列（分词后的序列）去预测下一个字出现的概率，tensorflow代码如下：
nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2)
本文介绍了tensorflow中leaky ReLU函数的实现方法，包括两种方法：使用tf.nn.relu和修改relu的负半部分。这些方法在BP的时候，梯度都会被正确计算。同时，也介绍了使用tf.clip_by_value函数来对梯度进行裁剪的方法。
maximum()用于限制最小值,也即是说，将一个tensor中小于指定值的元素替换为指定值：
作者：王岳王院长 知乎：https://www.zhihu.com/people/wang-yue-40-21 github: https://github.com/wavewangyue 编辑：yuquanle
TensorFlow 的 Eager Execution 是一种命令式编程环境，可立即评估操作，无需构建图：操作会返回具体的值，而不是构建以后再运行的计算图。这样能让您轻松地开始使用 TensorFlow 和调试模型，并且还减少了样板代码。要遵循本指南，请在交互式 python 解释器中运行下面的代码示例。
The losses.py module implements several common loss functions, including:
前言 最近看完了 LSTM 的一些外文资料，主要参考了 Colah 的 blog以及 Andrej Karpathy blog的一些关于 RNN 和 LSTM 的材料，准备动手去实现一个 LSTM 模型。代码的基础框架来自于 Udacity 上深度学习纳米学位的课程（付费课程）的一个 demo，我刚开始看代码的时候真的是一头雾水，很多东西没有理解，后来反复查阅资料，并我重新对代码进行了学习和修改，对步骤进行了进一步的剖析，下面将一步步用 TensorFlow 来构建 LSTM 模型进行文本学习并试图去生
add agent http://coach.nervanasys.com/contributing/add_agent/index.html class Agent(object): class PolicyOptimizationAgent(Agent): class ActorCriticAgent(PolicyOptimizationAgent): presets.py class Carla_A3C(Preset): def __init__(self): Preset._
包括3个文件 init.py, rnn.py, clip_grad.py, weight_norm.py 这里面是一些nn的工具，比如rnn中的序列打包成PackedSequence和解包还原成程度不等序列
谷歌团队 2015 年发布的 TensorFlow 框架是目前机器学习领域最流行的框架之一。虽然后起之秀 PyTorch 奋起直追，但 TensorFlow 框架的使用者仍然众多。
今天我们一起学习下深度学习中如何避免过拟合，我们多多交流，共同进步。本期主要内容如下：
输入一个张量t，把t中的每一个元素的值都压缩在clip_value_min和clip_value_max之间。小于min的让它等于min，大于max的元素的值等于max。
混合精度训练（mixed precision training）可以让模型训练在尽量不降低性能的情形下提升训练速度，而且也可以降低显卡使用内存。目前主流的深度学习框架都开始支持混合精度训练。对于PyTorch，混合精度训练还主要是采用NVIDIA开源的apex库。但是，PyTorch将迎来重大更新，那就是提供内部支持的混合精度训练，而且是自动混合精度训练：
引言 学习一段时间的tensor flow之后，想找个项目试试手，然后想起了之前在看Theano教程中的一个文本分类的实例，这个星期就用tensorflow实现了一下，感觉和之前使用的theano还是
https://www.zhihu.com/question/52602529/answer/158727900
AiTechYun 编辑：yuxiangyu 优化是机器学习的研究人员最感兴趣的领域之一。在本文中，我想从简单的函数优化开始介绍，然后讨论找到只能找到局部最小值或难以找到最小值的较为复杂的函数，约束优
Tensorflow 是干嘛的，就不过多赘述了，小伙伴们可以访问官网来详细了解 https://www.tensorflow.org/
使用TensorFlow v2库实现逻辑斯谛回归，此示例使用简单方法来更好地理解训练过程背后的所有机制。
1、背景 GAN作为生成模型的一种新型训练方法，通过discriminative model来指导generative model的训练，并在真实数据中取得了很好的效果。尽管如此，当目标是一个待生成的非连续性序列时，该方法就会表现出其局限性。非连续性序列生成，比如说文本生成，为什么单纯的使用GAN没有取得很好的效果呢？主要的屏障有两点： 1）在GAN中，Generator是通过随机抽样作为开始，然后根据模型的参数进行确定性的转化。通过generative model G的输出，discriminative
作为一种新颖的深度学习算法，深度残差收缩网络实际上是深度残差网络的升级版本，能够在一定程度上提高深度学习方法在含噪数据上的特征学习效果。
参考的的论文是来自2016年复旦大学IJCAI上的发表的关于循环神经网络在多任务文本分类上的应用：Recurrent Neural Network for Text Classification with Multi-Task Learning[1]
选自谷歌 机器之心编译 参与：机器之心编辑部 近日，谷歌官方在 Github 开放了一份神经机器翻译教程，该教程从基本概念实现开始，首先搭建了一个简单的NMT模型，随后更进一步引进注意力机制和多层 LSTM 加强系统的性能，最后谷歌根据 GNMT 提供了更进一步改进的技巧和细节，这些技巧能令该NMT系统达到极其高的精度。机器之心对该教程进行简要的描述，跟详细和精确的内容请查看项目原网站。 GitHub 链接：https://github.com/tensorflow/nmt 机器翻译，即跨语言间的自动翻译，
笔者作为一名根正苗红的理工男，内心却常常有很多文艺青年才会有的想法，例如写首诗、做首词，甚至包括春节写副对联，空有一番愿望却胸无点墨。随着对机器学习和深度学习的了解，逐渐萌生了使用机器帮助笔者完成文艺
分类问题和回归问题是监督学习的两大种类。这一节将分别介绍分类问题和回归问题中使用到的经典损失函数。分类问题希望解决的是将不同的样本分到事先定义到的经典损失函数。分类问题希望解决的将不同的样本分到事先定义好的类别中。
01 seq2seq代码案例解读 RNN 模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型。在Tensorflow的官方教程中，有两个与之相关的模型被实现出来。第一个模型是围绕着Zaremba的论文Recurrent Neural Network Regularization，以Tensorflow框架为载体进行的实验再现工作。第二个模型则是较为实用的英语法语翻译器。 在这篇博客里，我会主要针对第一个模型的代码进行解析。在之后的随笔里我会进而解析英语法语翻译器的机能。论文以及Tens
一、简介 长短期记忆网络 LSTM（Long-Short Term Memory）是递归神经网络（RNN:Recurrent Neutral Network）的一种。 RNNs也叫递归神经网络序列，它是一种根据时间序列或字符序列（具体看应用场景）自我调用的特殊神经网络。将它按序列展开后，就成为常见的三层神经网络。常应用于语音识别。 虽然前馈神经网络取得很大成功，但它无法明确模拟时间关系，并且所有数据点都是固定长度的向量。所以就诞生了递归神经网络，递归即自我调用，递归神经网络与其他网络的不同之处在于它的隐含
沿着坐标轴给出的维数减少input_张量。除非keepdims为真，否则对于轴上的每一项，张量的秩都会减少1。如果keepdims为真，则使用长度1保留缩减后的维度。如果轴为空，则所有维数都被缩减，并返回一个只有一个元素的张量。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Solo95/article/details/86531465
基于我上一篇博客的算法介绍， 使用tensorflow的代码实现，仿真环境使用gym torcs 为了快速训练出结果，我没有使用driver view图像作为输入，而是使用low dimension传感器数据作为输入， 总共29个数据，包括： – 赛车速度: speedX, speedY, speedZ. – 赛车在跑道中的位置 – 19个range finder的探测数据：车身与跑道边缘的距离 – 发动机转速 – 车轮速度
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
