GAN是一个非常巧妙并且非常有用的模型。当有大量关于 GAN 的论文时，但是你会发现这些论文通常很难理解，你可能会想要一些对初学者更友好的东西。所以本文的对非传统机器学习人员来说，是我能想到的最好的例子。
参见:https://en.wikipedia.org/wiki/Huber_loss
谷歌深度学习研究员、“Keras之父”François Chollet发表推特，总结了一份TensorFlow 2.0 + Keras做深度学习研究的速成指南。
tf.app.flags.DEFINE_integer()等函数是添加了命令行的可选参数
: Anchor[i]预测的Bounding Box的参数化坐标(parameterized coordinates)；
最终，在cifar-10数据集上，通过一个短时间小迭代的训练，可以达到大致73%的准确率，持续增加max_steps，可以期望准确率逐渐增加 如果max_steps比较大，则推荐使用学习速率衰减decay的SGD进行训练，这样训练过程中能达到的准确率峰值会比较高，大致有86% 其中L2正则以及LRN层的使用都对模型准确率有提升作用，它们都可以提升模型的泛化能力 数据增强Data Augmentation在我们的训练中作用很大，它可以给单幅图增加多个副本，提高图片的利用率，防止对某一张图片结构的学习过拟合 这刚好是利用了图片数据本身的性质，图片的冗余信息量比较大，因此可以制造不同的噪声并让图片依然可以被识别出来。如果神经网络可以克服这些 噪声并准确识别，那么他的泛化能力必然很好。数据增强大大增加了样本量，而数据量的大小恰恰是深度学习最看重的，深度学习可以在图像识别上领先 其他算法的一大因素就是它对海量数据的利用效率非常高。其他算法，可能在数据量大到一定程度时，准确率就不再上升了，而深度学习只要提供足够 多的样本，准确率基本持续提升，所以说它是最适合大数据的算法
文章目录 1. Keras Sequential / Functional API 2. 自定义 layer 3. 自定义 loss 4. 自定义 评估方法 学习于：简单粗暴 TensorFlow 2 1. Keras Sequential / Functional API tf.keras.models.Sequential([layers...])，但是它不能表示更复杂的模型 mymodel = tf.keras.models.Sequential([ tf.keras.layers.Flat
在TensorFlow2.0中，Keras是一个用于构建和训练深度学习模型的高阶 API。因此如果你正在使用TensorFow2.0，那么使用Keras构建深度学习模型是您的不二选择。在Keras API中总共有如下三大块：
为了避免过拟合问题，一个非常常用的方法是正则化（regularization），正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。
虽然这里是采用 TF-Slim 处理图像分类问题，还需要安装 TF-Slim 图像模型库 tensorflow/models/research/slim. 假设该库的安装路径为 TF_MODELS. 添加 TF_MODELS/research/slim 到 python path.
【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/81560537
TabNet是19年Google提出的一种新的可解释的处理表格数据的深度学习框架，之前大多数朋友在尝试的时候发现其效果相较于传统的树模型效果其实差了较多，但最近其在Optiver金融赛中大方异彩纯TabNet在开源中拿到了极高的分数，所以便打算重新回顾一遍TabNet。
在上一篇文章中我们简单说了说AIC,BIC和L1,L2正则化的东西,而今天这篇文章,我们将着重说说正则化.
过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。
1、先通过conv层+pooling层+relu层，可以是vgg，得到feature maps。
在上一篇文章中我们简单说了说AIC,BIC和L1,L2正则化的东西,而今天这篇文章,我们将着重说说正则化. 1:什么是正则化? 首先,拿过来上一篇文章的定义: √正则化：在损失函数中给每个参数 w 加
本篇使用TensorFlow框架，利用MNIST手写数字数据集来演示深度学习的入门概念。其训练集共有60000个样本（图片和标签），测试集有10000个样本。手写数字的图片都是尺寸为28*28的二值图：
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
SAC 算法本质是经过熵强化的回报值最大化算法。在我们单独跑的其他实验中，包括SAC + RNN表现出很好的性能，１．replay buffer使它的采样效率增高 ２．尤其在高维连续动作空间，对动作的稳定性连续性有比较好的提升。
总结：这只是一个简单的对比，但是这么一套流程，就可以套用到各种神经网络中了，只是数据的处理、网络结构的搭建等不同。
在图像识别/目标检测领域，基本上CNN的天下，从基础的AlexNet，再到后面更深的GoogleNet、VGGNet等，再到收敛速度更快、泛化性更强ResNet等残差网络，从2012年到现在CNN网络在图像识别/目标检测领域可谓是一个很好的方法。
文件中保存的仅仅是参数张量的数值，没有其他的结构参数，需要使用相同的网络结构才能恢复网络数据，一般在拥有源文件的情况下使用。
在keras中自带的性能评估有准确性以及loss，当需要以auc作为评价验证集的好坏时，就得自己写个评价函数了：
一般来说，监督学习的目标函数由损失函数和正则化项组成。（Objective = Loss + Regularization）
知识蒸馏（Knowledge Distillation）最早是Hinton 2014年在论文Dislillation the Knowledge in a Neural Network中提出的概念，主要思想是通过教师模型（teacher）来指导学生模型（student）的训练，将复杂、学习能力强的教师模型学到的特征表示“知识蒸馏”出来，传递给参数小、学习能力弱的学生模型，从而得到一个速度快、表达能力强的学生模型。
原文是基于英文的命名实体识别(named entity recognition)问题，由于博主找不到相应的中文数据集(其实是没备份数据丢了，如果有同学提供，万分感谢)。因此，本文用了msra的分词数据
易得 l2_loss( t, name=None ) 等同于 output = sum(t ** 2) / 2
之前在人工智能课上自己手动搭建过一个BP神经网络实现MNIST数据集的手写体数字识别，使用的是c++，最终准确率的上限在95%至96%左右（毕竟水平有限）。这次不一样了，使用tensorflow进行实验，准确率确实提高了不少。可能有人会觉得tensorflow有点过时，现在的大企业不怎么用tensorflow了，但我觉得，对于初学者来说，tensorflow还是不错的选择。
下面是测试Batch的总Loss和验证集上的准确率的收敛趋势图。由于我的电脑性能不好，所以我大幅度削减了待训练参数个数。尽管如此，2000轮训练之后，在验证集上5000个图片的预测正确率已达98.3%。如若不削减参数，准确率可达99.4%。
tf.Variable(tf.random_normal([2,3],stddev=2)) 通过满足正态分布的随机数来初始化神经网络中的参数是一个常用方法。
TensorFlow有5个不同的层次结构：即硬件层，内核层，低阶API，中阶API，高阶API。本章我们将以线性回归为例，直观对比展示在低阶API，中阶API，高阶API这三个层级实现模型的特点。
本文介绍了如何使用TensorFlow进行图像分类，包括数据集准备、模型训练和评估以及部署。作者还介绍了如何使用TensorFlow进行图像字幕生成，并提供了示例代码。
以VGG-16作为特征提取层实现SSD网络的代码，解读SSD网络代码实现的各个细节，从输入参数、默认框的位置匹配、宽高比率、放缩比率、各层默认框的生成、到损失函数计算、整个SSD网络框架代码实现都一一解读。
首先，我们要在电脑里装一个tf2.0的虚拟环境（我的电脑是mac，windows和linux类似）。这里使用anaconda的命令：
卷积神经网络实现图像风格迁移在2015的一篇论文中最早出现。实现了一张从一张图像中提取分割，从另外一张图像中提取内容，叠加生成一张全新的图像。早前风靡一时的风格迁移APP – Prisma其背后就是图像各种风格迁移、让人耳目一新。其主要的思想是对于训练好的卷积神经网络，其内部一些feature map跟最终识别的对象是特征独立的，这些特征当中有一些是关于内容特征的，另外一些是关于风格特征的，于是我们可以输入两张图像，从其中一张图像上提取其内容特征，另外一张图像上提取其风格特征，然后把它们叠加在一起形成一张新的图像，这个就风格迁移卷积网络。最常见的我们是用一个预先训练好的卷积神经网络，常见的就是VGG-19，其结构如下：
整体而言，为了吸引用户，TensorFlow 2.0 从简单、强大、可扩展三个层面进行了重新设计。特别是在简单化方面，TensorFlow 2.0 提供更简化的 API、注重 Keras、结合了 Eager execution。
在训练深度学习网络时，在损失函数上加上正则项是防止过拟合的一个重要方法。本文介绍两种在TensorFlow中如何加入正则化项的方法， 但无论何种方法大的逻辑都是：创建一个正则化方法;然后将这个正则化方法应用到变量上。
[1]Tensorflow实战Google深度学习框架: https://github.com/caicloud/tensorflow-tutorial/tree/master/Deep_Learning_with_TensorFlow/1.4.0
「声明：此实践来自于 R2RT大神博客中的 RNN in Tensorflow 的两篇教程之一，版权归 R2RT 所有，不妥删。这里渣翻译主要是为了自己理解学习，且后面训练的结果有些不太一样，有些内容也没详细翻译。感谢 R2RT 以及评论中的一些大神对于概率算法的的解释。」
模型的训练主要有内置fit方法、内置tran_on_batch方法、自定义训练循环。
深度学习算法(第26期)----深度网络中的自编码器 今天我们更进一步一起学一下栈式自编码器。
安装Tensoflow1.0 Linux/ubuntu: python2.7: pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp27-none-linux_x86_64.whl python3.5: pip3 install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp35-cp35m-linu
今天我们一起学习下深度学习中如何避免过拟合，我们多多交流，共同进步。本期主要内容如下：
虽然，自 TensorFlow 2.0 发布以来，我们总是能够听到「TensorFlow 2.0 就是 keras」、「说的很好，但我用 PyTorch」类似的吐槽。但毋庸置疑，TensorFlow 依然是当前最主流的深度学习框架（感兴趣的读者可查看机器之心文章：2019 年，TensorFlow 被拉下马了吗？）。
前一篇文章详细讲解了如何评价神经网络，绘制训练过程中的loss曲线，并结合图像分类案例讲解精确率、召回率和F值的计算过程。本篇文章将分享循环神经网络LSTM RNN如何实现回归预测，通过sin曲线拟合实现如下图所示效果。本文代码量比较长，但大家还是可以学习下的。基础性文章，希望对您有所帮助！
跑算法就是先收集数据，然后把它feed到构建好的模型中去训练。这个代码还多了一步planning。planning完收到新的数据，于是又开始新的一轮训练，循环下去。
在上一篇文章中，我们介绍了循环神经网络的建立方式。本来接下来应该介绍 TensorFlow 中的深度强化学习的，奈何笔者有点咕，到现在还没写完，所以就让我们先来了解一下 Keras 内置的模型训练 API 和自定义组件的方法吧！本文介绍以下内容：
本文介绍了如何使用TensorFlow构建多GPU模型，并介绍了如何实现单/多GPU训练和测试。作者还介绍了如何实现多GPU之间的参数平均，以及如何使用TensorFlow构建多GPU训练模型。
TensorFlow的高阶API主要为tf.keras.models提供的模型的类接口。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
