在本文中，将展示一个简单的分步过程，以在PyTorch中构建2层神经网络分类器（密集连接），从而阐明一些关键功能和样式。
深度学习发展势头迅猛，但近两年涌现的诸多深度学习框架让初学者无所适从。如 Google 的 TensorFlow、亚马逊的 MXNet、Facebook 支持的 PyTorch、Theano、Caffe、CNTK、Chainer、百度的 PaddlePaddle、DSSTNE、DyNet、BigDL、Neon 等等。
“当你正在深入研究深度学习的下一个重大突破时，或许会遇到一个不幸的挫折:你的神经网络不起作用。你去找你的老板/主管，但他们也不知道如何去解决这个问题——他们和你一样都是新手。那么现在该怎么办呢?” 因
第 10 章介绍了人工神经网络，并训练了第一个深度神经网络。 但它非常浅，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层或更多，每层包含数百个神经元，通过数十万个连接相连。 这可不像公园散步那么简单，可能碰到下面这些问题：
目前为止，我们只是使用了TensorFlow的高级API —— tf.keras，它的功能很强大：搭建了各种神经网络架构，包括回归、分类网络、Wide & Deep 网络、自归一化网络，使用了各种方法，包括批归一化、dropout和学习率调度。事实上，你在实际案例中95%碰到的情况只需要tf.keras就足够了（和tf.data，见第13章）。现在来深入学习TensorFlow的低级Python API。当你需要实现自定义损失函数、自定义标准、层、模型、初始化器、正则器、权重约束时，就需要低级API了。甚至有时需要全面控制训练过程，例如使用特殊变换或对约束梯度时。这一章就会讨论这些问题，还会学习如何使用TensorFlow的自动图生成特征提升自定义模型和训练算法。首先，先来快速学习下TensorFlow。
最近在使用PyTorch时，遇到了一个错误，错误信息显示：'torch.nn'没有 'SiLU'属性。这个错误让我感到困惑，因为我期望能够使用torch.nn包中的'SiLU'激活函数。在本篇博客文章中，我们将探讨这个错误的含义，为什么会出现这个错误，以及可能的解决方法。
第10章 使用Keras搭建人工神经网络 第11章 训练深度神经网络 第12章 使用TensorFlow自定义模型并训练 第13章 使用TensorFlow加载和预处理数据 第14章 使用卷积神经网络实现深度计算机视觉 第15章 使用RNN和CNN处理序列 [第16章 使用RNN和注意力机制进行自然语言处理] [第17章 使用自编码器和GAN做表征学习和生成式学习] [第18章 强化学习] [第19章 规模化训练和部署TensorFlow模型]
【导读】本文是谷歌机器学习工程师 Chris Rawles 撰写的一篇技术博文，探讨了如何在 TensorFlow 和 tf.keras 上利用 Batch Normalization 加快深度神经网络的训练。我们知道，深度神经网络一般非常复杂，即使是在当前高性能GPU的加持下，要想快速训练深度神经网络依然不容易。Batch Normalization 也许是一个不错的加速方法，本文介绍了它如何帮助解决梯度消失和梯度爆炸问题，并讨论了ReLu激活以及其他激活函数对于抵消梯度消失问题的作用。最后，本文使用Te
《Keras快速上手：基于Python的深度学习实战》系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列中的具体应用为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。本章节选自《Keras快速上手：基于Python的深度学习实战》第四章Keras入门部分内容。 福利提醒：在评论区留言，分享你的Keras学习经验，评论点赞数前五名可获得本书。时间截止周五（8月11日）晚22点
书中其中一个应用例子就是用于预测波士顿的房价，这是一个有趣的问题，因为房屋的价值变化非常大。这是一个机器学习的问题，可能最适用于经典方法，如 XGBoost，因为数据集是结构化的而不是感知的。然而，这也是一个数据集，深度学习提供了一个非常有用的功能，就是编写一个新的损失函数，有可能提高预测模型的性能。这篇文章的目的是来展示深度学习如何通过使用自定义损失函数来改善浅层学习问题。
在深度学习中，卷积神经网络（Convolutional Neural Networks，简称CNN）是一种广泛应用的模型。然而，在使用CNN时，我们有时会遇到一个名为"UserWarning: Update your Conv2D"的告警信息。本文将详细讲解这个Warnning信息的含义以及如何解决这个问题。
相信大家经过之前几篇文章的学习，已经对人工智能以及它和Keras的关系有了基本的认识，那么我们即将正式开始对于Keras的学习。
我们使用损失函数来计算一个给定的算法与它所训练的数据的匹配程度。损失计算是基于预测值和实际值之间的差异来做的。如果预测值与实际值相差甚远，损失函数将得到一个非常大的数值。
开始深度学习的内容，本文是《Python深度学习》一书中的实战案例：电影评论的二分类问题。
梯度爆炸是一个在训练过程中大的误差梯度不断累积，导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定，无法从你的训练数据中学习。 在这篇文章中，我将带你了解深度人工神经网络的梯度爆炸问题。
如果这些内置模型层不能够满足需求，我们也可以通过编写tf.keras.Lambda匿名模型层或继承tf.keras.layers.Layer基类构建自定义的模型层。
这是一个典型的二分类问题。使用的是IMDB数据集，训练集是25000条，测试也是25000条
人工神经网络表示一类机器学习的模型，最初是受到了哺乳动物中央神经系统研究的启发。网络由相互连接的分层组织的神经元组成，这些神经元在达到一定条件时就会互相交换信息（专业术语是激发（fire））。最初的研究开始于20世纪50年代后期，当时引入了感知机（Perceptron）模型。感知机是一个可以实现简单操作的两层网络，并在20世纪60年代后期引入反向传播算法（backpropagation algorithm）后得到进一步扩展，用于高效的多层网络的训练。有些研究认为这些技术起源可以追溯到比通常引述的更早的时候。直到20世纪80年代，人们才对神经网络进行了大量的学术研究，那时其他更简单的方法正变得更加有用。然后，由于G.Hinton提出的快速学习算法，以及2011年前后引入GPU后使大量数值计算成为可能，开始再度出现了神经网络研究的热潮。
这篇文章的主要内容来自作者的自身经验和一些在线资源（如最出名的斯坦福大学的CS231n课程讲义），是关于如何调试卷积神经网络从而提升其性能的。
机器学习是一个使用统计学和计算机科学原理来创建统计模型的研究领域，用于执行诸如预测和推理之类的主要任务。这些模型是给定系统的输入和输出之间的数学关系集。学习过程是估计模型参数的过程，以便模型可以执行指定的任务。学习过程会尝试使机器具有学习能力，而无需进行显式编程。这是ANN的作用。
使用Python的Keras库可以很容易创建和评测深度学习神经网络，但是您必须遵循严格的模型生命周期。
我们对Keras应该已经有了一个直观、宏观的认识了。现在，我们来系统的学习一下Keras的一些关于网络层的API，本文的主要内容是围绕卷积展开的，包含以下的内容：
特征列通常用于对结构化数据实施特征工程时候使用，图像或者文本数据一般不会用到特征列。使用特征列可以将类别特征转换为one-hot编码特征，将连续特征构建分桶特征，以及对多个特征生成交叉特征等等。
作为目前最普及的深度学习框架，TensorFlow 实不必多做介绍。 无论国内国外，有相当数量的程序员以 TensorFlow 入门深度学习开发，逐步走上职业机器学习工程师的道路。然而，TensorFlow 有一定的使用门槛。不管是编程范式，还是数学统计基础，都为非机器学习与数据科学背景的伙伴们带来一定的上手难度，更不要提处理不同任务时需面对的各类算法模型。 鉴于此，雷锋网将与跨国 IT 服务巨头 ThoughtWorks，联合举办线上培训课程“TensorFlow & 神经网络算法高级应用班”，将于 4
今天看到这篇文章的时候，立马放下了手中的活，把论文大概刷了一遍。以下是对这篇论文的简单的解读。文末有文章和代码链接。
在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。
Keras是最广泛使用的深度学习框架之一。它在易于使用的同时，在性能方面也与TensorFlow，Caffe和MXNet等更复杂的库相当。除非你的应用程序需要一些非常低级别和复杂的代码，否则Keras会为你提供最好的帮助！
选自Medium 作者：Sagar Howal 机器之心编译 参与：路雪 Colaboratory 是一个 Google 研究项目，旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境，不需要进行任何设置就可以使用，并且完全在云端运行。Colaboratory 笔记本存储在 Google 云端硬盘 (https://drive.google.com/) 中，并且可以共享，就如同您使用 Google 文档或表格一样。Colaboratory 可免费使用。本文介绍如何使用 Google Co
Keras代码示例多达数百个。通常我们只需复制粘贴代码，而无需真正理解这些代码。通过学习本教程，您将搭建非常简单的构架，但是此过程会带给您些许好处：您将通过阅读 VGG*的论文原著学习使用 Keras 从零开始实现 VGG 网络。 我使用的术语是指由牛津大学计算机视觉组 (Visual Geometry Group， VGG)为ILSVRC-2014构建的网络构架。 那么，实现别人构建出来的结构有什么意义呢？ 关键在于学习，通过完成本教程的学习，您将： 进一步了解 VGG 构架； 进一步了解卷积神经网
在本文中，我们将讨论简单神经网络背后的数学概念。其主要目的是说明在建立我们自己的人工智能模型时，数学是如何发挥巨大作用的。
在本课程中，我们将介绍神经网络的基础知识以及如何建立深度学习编程环境。 我们还将探讨神经网络的常见组件及其基本操作。 我们将通过探索使用 TensorFlow 创建的训练有素的神经网络来结束本课程。
文件中保存的仅仅是参数张量的数值，没有其他的结构参数，需要使用相同的网络结构才能恢复网络数据，一般在拥有源文件的情况下使用。
注：以下模型及其说明来自于《TensorFlow+Keras深度学习人工智能实践应用》林大贵 著
https://machinelearningmastery.com/5-step-life-cycle-neural-network-models-keras/
神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。 所以理想的网络参数初始化是很重要的，但是现在框架都定义了很多参数初始化方式，可以直接调用，比如tensorflow的变量初始化方式如下： initializer：是变量初始化的方式，初始化的方式有以下几种：
如果你的神经网络不工作，该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。
【新智元导读】如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。 如果你的神经网络不工作，该怎么办？作者在这里列出了建神经网络时所有可能做错的事情，以及他自己的解决经验。 忘记规范化数据 忘记检查结果 忘记预处理数据 忘记使用正则化 使用的batch太大 使用了不正确的学习率 在最后层使用了错误的激活函数 你的网络包含了Bad Gradients 初始化网络权重
原文地址：My Neural Network isn't working! What should I do? 如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题
曾经尝试仅使用 NumPy 用 Python 编写用于神经网络的代码的任何人都知道它很繁琐。 为一个简单的单层前馈网络编写代码需要 40 条线，这增加了编写代码和执行时间方面的难度。
deepFM 的发展史我们也不多介绍，目前我们也主要用于做 ctr cvr 预测。
（第二部分：深度学习） 第10章 使用Keras搭建人工神经网络 第11章 训练深度神经网络 第12章 使用TensorFlow自定义模型并训练 第13章 使用TensorFlow加载和预处理数据 第14章 使用卷积神经网络实现深度计算机视觉 第15章 使用RNN和CNN处理序列 第16章 使用RNN和注意力机制进行自然语言处理 第17章 使用自编码器和GAN做表征学习和生成式学习 [第18章 强化学习] [第19章 规模化训练和部署TensorFlow模型]
在本节中，您将加深对理论的理解，并学习有关卷积神经网络在图像处理中的应用的动手技术。 您将学习关键概念，例如图像过滤，特征映射，边缘检测，卷积运算，激活函数，以及与图像分类和对象检测有关的全连接和 softmax 层的使用。 本章提供了许多使用 TensorFlow，Keras 和 OpenCV 的端到端计算机视觉管道的动手示例。 从这些章节中获得的最重要的学习是发展对不同卷积运算背后的理解和直觉-图像如何通过卷积神经网络的不同层进行转换。
自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的Keras。Keras是在其它深度学习框架（谷歌的TensorFlow，微软的CNTK以及Theano）的基础上，抽象了底层实现的差异，提供的更高层的API接口。说说Keras的好处吧！个人觉得Keras最吸引人的地方就是API接口的设计特别人性化，对于样本的训练，结果的测试都有一种使用传统机器学习库的感觉；函数式接口设计使得深度网络的时候特别容易，简直就像在玩乐高。如果有人想入门深度学习，我一定也会推荐Keras。
在使用PyTorch进行深度学习模型开发时，我们可能会遇到一些错误和问题。其中之一是Can't get attribute 'SiLU'的错误。这个错误表明在导入torch.nn.modules.activation模块时，找不到SiLU属性。本篇文章将介绍导致这个错误的原因，并提供解决方案。
注意：当使用categorical_crossentropy损失函数时，你的标签应为多类模式，例如如果你有10个类别，每一个样本的标签应该是一个10维的向量，该向量在对应有值的索引位置为1其余为0。
激活函数在深度学习中扮演着非常重要的角色，它给网络赋予了非线性，从而使得神经网络能够拟合任意复杂的函数。
欢迎使用《深度学习快速参考》！ 在本书中，我将尝试使需要解决深度学习问题的数据科学家，机器学习工程师和软件工程师更容易使用，实用和使用深度学习技术。 如果您想训练自己的深度神经网络并且陷入困境，那么本指南很有可能会有所帮助。
本文是对The 5 Step Life-Cycle for Long Short-Term Memory Models in Keras的复现与解读，新手博主，边学边记，以便后续温习，或者对他人有所帮助
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
