当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。
本文主要讲解了在编写基于TensorFlow的应用过程中如何使用Eager Mode。内容主要包括
在这篇博文中，将向你展示如何自由的在任何Python代码中使用Tensorboard。
Tensorboard 是 TensorFlow 的一个附加工具，可以记录训练过程的数字、图像等内容，以方便研究人员观察神经网络训练过程。可是对于 PyTorch 等其他神经网络训练框架并没有功能像 Tensorboard 一样全面的类似工具，一些已有的工具功能有限或使用起来比较困难 (tensorboard_logger, visdom等) 。TensorboardX 这个工具使得 TensorFlow 外的其他神经网络框架也可以使用到 Tensorboard 的便捷功能。TensorboardX 的 github仓库在这里。
[1]Tensorflow实战Google深度学习框架: https://github.com/caicloud/tensorflow-tutorial/tree/master/Deep_Learning_with_TensorFlow/1.4.0
TensorFlow 的 Eager Execution 是一种命令式编程环境，可立即评估操作，无需构建图：操作会返回具体的值，而不是构建以后再运行的计算图。这样能让您轻松地开始使用 TensorFlow 和调试模型，并且还减少了样板代码。要遵循本指南，请在交互式 python 解释器中运行下面的代码示例。
首先，如果你现在已经很熟悉tf.data+estimator了，可以把文章x掉了╮(￣▽￣””)╭
PyTorch是深度学习领域中一个非常流行的框架，它提供了丰富的高级知识点和工具来帮助深度学习开发人员在项目中快速迭代、优化和调试。在本文中，我们将讨论PyTorch项目实战中的一些高级知识点。
注意tensorflow会检查类型，不指定类型时按照默认类型，如1认为是int32, 1.0认为是float32
摘要：本篇主要分享从理论到实战知识蒸馏。首先讲了下为什么要学习知识蒸馏。一切源于业务需求，BERT这种大而重的模型虽然效果好应用范围广，但是很难满足线上推理的速度要求，所以需要进行模型加速。通常主流的模型加速方法主要包括剪枝、因式分解、权值共享、量化和知识蒸馏等；然后重点讲解了知识蒸馏，主要包括知识蒸馏的作用和原理、知识蒸馏的流程以及知识蒸馏的效果等；最后理论联系实战，讲解了实际业务中主要把BERT作为老师模型去教作为学生模型的TextCNN来学习知识，从而使TextCNN不仅达到了媲美BERT的分类效果，而且还能很好的满足线上推理速度的要求。对知识蒸馏感兴趣的小伙伴可以一起沟通交流。
学习率衰减（learning rate decay） 在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊． 为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减．
本文介绍了三种不同的阶段去开发Python项目，旨在提供适合各种难度层次Python项目。
实现momentum算法的优化器。计算表达式如下(如果use_nesterov = False):
变小,你的步伐也会变慢变小.所以最后的曲线在最小值附近的一小块区域里摆动.所以慢慢减少
导读：本文介绍了三种不同的阶段去开发Python项目，旨在提供适合各种难度层次Python项目。
1. 如何使用log_device_placement参数来打印运行每一个运算的设备。
谷歌的AI技术独步天下，从即将商业化运营的无人驾驶汽车Waymo，到天下无敌的围棋大师AlphaGo，再到以假乱真的电话助理Duplex…
之前在人工智能课上自己手动搭建过一个BP神经网络实现MNIST数据集的手写体数字识别，使用的是c++，最终准确率的上限在95%至96%左右（毕竟水平有限）。这次不一样了，使用tensorflow进行实验，准确率确实提高了不少。可能有人会觉得tensorflow有点过时，现在的大企业不怎么用tensorflow了，但我觉得，对于初学者来说，tensorflow还是不错的选择。
本章节来初次使用tensorboard来可视化pytorch深度学习中的一些内容，主要可视化的内容包括：标量变化（模型损失、准确率等）；权重值的直方图；特征图的可视化；模型图的可视化；卷积核的可视化。
本文介绍了tensorflow中关于学习率衰减的API，包括使用方法以及示例代码。通过使用exponential\_decay函数实现学习率的逐渐衰减，可以更有效地提高模型的训练效果。同时，还介绍了在训练过程中如何实现学习率衰减的方法。
α = d e c a y − r a t e e p o c h − n u m ∗ α 0 \alpha = decay-rate^{epoch-num}*\alpha_{0} α=decay−rateepoch−num∗α0 α = k e p o c h − n u m ∗ α 0 其 中 k 是 超 参 数 \alpha = \frac{k}{\sqrt{epoch-num}}*\alpha_{0}其中k是超参数 α=epoch−num k∗α0其中k是超参数 α = k t ∗ α 0 其 中 k 是 超 参 数 , t 表 示 m i n i − b a t c h 的 标 记 数 字 \alpha = \frac{k}{\sqrt{t}}*\alpha_{0}其中k是超参数,t表示mini-batch的标记数字 α=t k∗α0其中k是超参数,t表示mini−batch的标记数字
关于Gradient descent 算法,不打算细说概念,公式什么的.贴一张Andrew的PPT:
本文是对经典论文《Convolutional Neural Networks for Sentence Classification[1]》的详细复现，(应该是)基于TensorFlow 1.1以及python3.6。从数据预处理、模型搭建、模型训练预测以及可视化一条龙讲解，旨在为刚接触该领域不知道如何下手搭建网络的同学提供一个参考。废话不说直接进入主题吧
是骡子是马拉出来溜溜就知道，一个模型好还是坏，放在全新的测试集上去测试下就知道了，根据模型测试的结果我们才能衡量模型的泛化性、稳定性等指标如何，从而方便我们根据测试的反馈去进行调参优化模型。
在图像识别/目标检测领域，基本上CNN的天下，从基础的AlexNet，再到后面更深的GoogleNet、VGGNet等，再到收敛速度更快、泛化性更强ResNet等残差网络，从2012年到现在CNN网络在图像识别/目标检测领域可谓是一个很好的方法。
学习率属于超参数。学习率决定梯度下降速度的快慢，学习率越大，速度越快；学习率越小，速度越慢。如果学习率过大，很可能会越过最优值；反而如果学习率过小，优化的效率可能过低，长时间算法无法收敛。所以学习率对于算法性能的表现至关重要。
使用TensorFlow甄别图片中的时尚单品 MNIST数据集是一个经典的机器学习数据集，该数据集由像素大小28*28的手写数字图片构成，每一个图片都由该图片对应的数字标记，经常用于实现用机器学习模型识别其中的数字来完成对机器学习算法的性能对标。 本例并没有直接使用MNIST数据集，为了使我们的实现更有趣一点，我们采用了Zalando发布的fashion-mnist数据集。该数据集与MNIST格式一致，但数字被换成了10个种类的挎包、服饰、鞋子。 以下是Jupyter Notebook中的整
除了常规的loss数据之外，我看到穿插在之间的warming informations ，虽然最后的结果没有任何问题，但是我抱着好奇的心态在stackoverflow找到了原因：
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Solo95/article/details/80067525
global_step是指图中看到的批次数量。每次提供一个批处理时，权重都会按照最小化损失的方向更新。global_step只是跟踪到目前为止看到的批数。当在minimum()参数列表中传递该变量时，该变量将增加1。查看optimizer. minimum()，你可以使用tf.train.global_step()获得global_step值。0是该上下文中全局步骤的初始值。global_step在训练中是计数的作用，每训练一个batch就加1。
深度学习中参数更新的方法想必大家都十分清楚了——sgd，adam 等等，孰优孰劣相关的讨论也十分广泛。可是，learning rate 的衰减策略大家有特别关注过吗？ 说实话，以前我也只使用过指数型和阶梯型的下降法，并不认为它对深度学习调参有多大帮助。但是，最近的学习和工作中逐渐接触到了各种奇形怪状的 lr 策略，可以说大大刷新了三观，在此也和大家分享一下学习经验。 learning rate 衰减策略文件在 tensorflow/tensorflow/python/training/learning_ra
Tensorflow实战Google深度学习框架: https://github.com/caicloud/tensorflow-tutorial/tree/master/Deep_Learning_with_TensorFlow/1.4.0
我们不可能像「太上老君」那样，拿着浮尘，24 小时全天守在「八卦炉」前，更何况人家还有炼丹童、天兵天将，轮流值守。
注意，这里只需要给出输入数据，输出通道数，卷积核大小即可。 Pooling layers 模块提供了多个池化方法，这几个池化方法都是类似的，包括 max_pooling1d()、max_pooling2d()、max_pooling3d()、average_pooling1d()、average_pooling2d()、average_pooling3d()，分别代表一维二维三维最大和平均池化方法，它们都定义在 tensorflow/python/layers/pooling.py 中，这里以 > max_pooling2d() 方法为例进行介绍。 max_pooling2d( inputs, pool_size, strides, padding='valid', data_format='channels_last', name=None ) 参数说明如下：
本文介绍了如何使用 TensorFlow Datasets 和 Estimators 在 Python 中处理图像数据。首先介绍了如何使用 TensorFlow Datasets 构建数据集，然后介绍了如何使用 Estimators 在 TensorFlow 中实现自定义模型。通过这些技术，可以快速构建出用于图像分类、物体检测等任务的模型。
将summary protocol buffer写入event file。FileWriter类提供了一种机制，用于在给定目录中创建事件文件，并向其中添加摘要和事件。该类异步更新文件内容。这允许训练程序调用方法直接从训练循环中将数据添加到文件中，而不会减慢训练的速度。
猪年快乐之TensorFlow中实现word2vec及如何结构化TensorFlow模型
Flappy Bird是一款简单操作的手机游戏，在游戏中有一只飞翔的小鸟，在飞行中会遇到管道障碍物，玩家需要操控小鸟往上飞，飞行过程中不能坠地也不能触碰障碍物，不断的实行动作会飞的越来越高；如果不采取飞行动作，则会快速下降。因此玩家要使用合适的策略控制小鸟飞行，使小鸟不会坠地同时能顺利地穿越障碍物。本案例使用强化学习算法DQN训练智能体，使其最终学会玩Flappy Bird游戏。
这里定义含有两个隐含层的模型，隐含层输出均为256个节点，输入784（MNIST数据集图片大小28*28），输出10。
版权声明：本文为博主原创文章，未经博主允许不得转载。python版本为python3，实例都是经过实际验证。 https://blog.csdn.net/jinxiaonian11/article/details/83105439
首先介绍数据读取问题，现在TensorFlow官方推荐的数据读取方法是使用tf.data.Dataset，具体的细节不在这里赘述，看官方文档更清楚，这里主要记录一下官方文档没有提到的坑，以示"后人"。因为是记录踩过的坑，所以行文混乱，见谅。
本篇使用TensorFlow框架，利用MNIST手写数字数据集来演示深度学习的入门概念。其训练集共有60000个样本（图片和标签），测试集有10000个样本。手写数字的图片都是尺寸为28*28的二值图：
Horovod 是 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式深度学习训练框架。Horovod 的目标是使分布式深度学习快速且易于使用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
