原文：Towards Data Science deephub翻译组：zhangzc
现代神经网络的激活层都要使用到非线性函数来激活神经元，而现代神经网络往往层数都动不动上百层，那某一层的激活函数对这一层的所有神经元都要激活吗？
这些Layer都是由一个个神经元组成，每个神经元都接受多个输入，并产生一个输出，就好像人的神经元突触一样。神经元在接收输入时，会各自乘以一定的权重(有时候还会加上一个bias)，并根据自己的激活函数产生输出。权重大则说明神经网络认为它的信息比较重要，权重小则认为神经网络认为它的信息不那么重要。
生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解为什么把激活函数应用在人工神经网络中之前，了解一下激活函数与生物神经网络的关联依然是十分有用的。
深度学习基础入门篇四：激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
在本文中，评估了权值初始化的许多方法和当前的最佳实践 零初始化 将权值初始化为零是不行的。那我为什么在这里提到它呢?要理解权值初始化的需要，我们需要理解为什么将权值初始化为零是无效的。 让我们考虑
本文提出了orthogonal-Padé激活函数，它是可以训练的激活函数，在标准深度学习数据集和模型中具有更快的学习能力，同时可以提高模型的准确率。根据实验，在六种orthogonal-Padé激活中找到了2种最佳的候选函数，作者称之为 safe Hermite-Pade(HP)激活函数，即HP-1和HP-2。
有很官方的名字,称为恒等激活函数/线性激活函数.这样如果使用恒等激活函数,则会发现这是一种输入值的线性组合.在深度网络中,会发现,这不过是输入的简单的线性组合,还不如去掉所有的隐藏层,线性隐藏层一点用也没有.如果你要计算的是回归问题,也许可以在输出层使用线性激活函数.除此以外,几乎没有地方会用到线性激活函数.
1）神经元（Neuron）：就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络里，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。
在ReLU函数的基础上，又出现了几种变形函数。这里我们暂且不讨论这些函数作为激活函数的优势与不足。
在阅读DarkNet源码的时候发现作者定义了大量从古至今流行的损失函数，本着科普的态度我打算做一个全面的总结，所以就有了这篇文章。
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，最终的输出都是输入的线性组合。 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。
目前，前馈神经网络 (FFN) 已经得到了广泛的应用，尤其是在图像和语音识别上功能突出。尽管取得了这些经验上的成功，但对底层设计理论的理解仍然有限。在 FFN 中找到准确的层数和单元数需要反复试验，而不是一个非常明确的科学问题。同样的道理也适用于设计新颖的架构或对现有的架构进行优化。理解 FFN 的工作原理以及何时使用 FFN 是一个明确的任务，近期这项任务得到了科学界的广泛关注。
激活函数是深度学习体系结构的核心组成部分。特定的非线性应用于神经网络的每一层，影响训练的动态和测试时间的准确性，是一个关键的工具，当设计体系结构的输出必须在一定范围内。当限制一个层的输出为非负时，一个普遍的做法是应用ReLU激活:
随着机器学习和人工智能领域的持续发展，神经网络及其代表性的算法通过提升计算成本而实现了越来越高的准确度。量化（quantization）是一种以准确度为代价旨在降低计算成本的方法。为了在尽可能小地损失准确度的同时尽可能多地减少计算，研究者们已经提出了多种不同的量化方案。
在大数据时代下,深度学习理论和技术取得的突破性进展,为人工智能提供了数据和算法层面的强有力 支撑,同时促进了深度学习的规模化和产业化发展.然而,尽管深度学习模型在现实应用中有着出色的表现,但 其本身仍然面临着诸多的安全威胁.为了构建安全可靠的深度学习系统,消除深度学习模型在实际部署应用中的潜在安全风险,深度学习模型鲁棒性分析问题吸引了学术界和工业界的广泛关注,一大批学者分别从精确和近似的角度对深度学习模型鲁棒性（Robustness，亦称稳健性、可靠性）问题进行了深入的研究,并且提出了一系列的模型鲁棒性量化分析方法。
作者 | Star先生（CSDN博客专家） 作者专栏：http://dwz.cn/80rGi5 编辑：AI科技大本营 ▌神经网络基础 1）神经元（Neuron）：就像形成我们大脑基本元素的神经元一
之前介绍了 KNN 和线性分类器，这次终于上到神经网络了，这一节举了很多例子来说明神经网络的数学推导和反向传播的公式，如果忘记的话可以再回去看看
如今，机器学习领域的科学进步速度是前所未有的。除非局限在一个狭窄的细分市场，否则要跟上时代的步伐是相当困难的。每天都有新论文出现并声称自己取得了一些最先进的成果。但是这些新发现中的大多数从来没有成为默认的首选方法，有时是因为它们没有最初希望的那么好，有时只是因为它们最终在新进展的洪流中崩溃了。
很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。
人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。 ——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡之中——一场由大数据和计算能力引起的革命。 只需要一分钟，我们来想象一下，在20世纪初，如果一个人不了解电力，他/她会觉得如何？你会习惯于以某种特定的方式来做事情，日复一日，年复一年，而你周围的一切事情都在发生变化，一件需要很多人才能完成的事情仅依靠一个人和电力就可以轻松搞
小编邀请您，先思考： 深度学习有哪些重要概念，怎么理解？ 深度学习和机器学习有什么异同？ 人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。 ——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡
很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。 相信读过此文的圈友，会对深度学习有个全新的认识，机器人圈希望可以为圈友的深度学习之路起到一些辅助作用。 人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡之中——一场由大数据和计算能
神经网络基础 1、神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成
深度神经网络（DNN）已经极大推升了机器学习（ML）/人工智能（AI）在许多不同任务中的性能，并由此带来了许多我们日常生活中所见的成熟应用。经典案例包括图像目标识别（Krizhevsky et al., 2012; Szegedy et al., 2014）、语音识别（Hinton et al., 2012; Sainath et al., 2013）、统计机器翻译（Devlin et al., 2014; Sutskever et al., 2014; Bahdanau et al., 2015）和掌握围棋（Silver et al., 2016）。
机器学习是一个使用统计学和计算机科学原理来创建统计模型的研究领域，用于执行诸如预测和推理之类的主要任务。这些模型是给定系统的输入和输出之间的数学关系集。学习过程是估计模型参数的过程，以便模型可以执行指定的任务。学习过程会尝试使机器具有学习能力，而无需进行显式编程。这是ANN的作用。
论文状态：Published in CVIU Volume 161 Issue C, August 2017 论文地址：https://arxiv.org/abs/1606.02228 github地址：https://github.com/ducha-aiki/caffenet-benchmark
这篇文章的起因是在于之前考察cross entroy相关的内容的时候，发现工具调用的太多了导致很多基础的内容被搞得生疏了，因此，就打算整两篇笔记来好好整理一下激活函数、损失函数等一些比较基础的概念性的东西，打算是分这几个模块来着：
维基百科对深度学习的精确定义为“一类通过多层非线性变换对高复杂性数据建模算法的合集”。因为深度神经网络是实现“多层非线性变换”最常用的一种方法，所以在实际中基本上可以认为深度学习就是深度神经网络的代名词。从维基百科给出的定义可以看出，深度学习有两个个非常重要的概念，并将通过过具体样例------多层和非线性。那么为什么要强调这两个性质？先说明线性模型的局限性，再给出去线性化的方法，最后再说明使用多层的原因。
这个非线性激活函数效果比 ReLU 还好？近日，斯坦福大学的一项研究《Implicit Neural Representations with Periodic Activation Functions》进入了我们的视野。这项研究提出利用周期性激活函数处理隐式神经表示，由此构建的正弦表示网络（sinusoidal representation network，SIREN）非常适合表示复杂的自然信号及其导数。
深度学习是机器学习中重要分支之一。它的目的是教会计算机做那些对于人类来说相当自然的事情。深度学习也是无人驾驶汽车背后的一项关键性技术，可以帮无人车识别停车标志、区分行人与路灯柱。它是手机、平板、电视和免提扬声器等设备实现语音控制的关键。深度学习近期以其前所未有的成果获得了广泛关注。
首先我们有这个需求，就是二分类问题，如我要将下面的三角形和圆形点进行正确的分类，如下图：
在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。
项目：https://github.com/UKPLab/emnlp2018-activation-functions
导语：很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。本文编译自Analytics Vidhya，相信读过此文的圈友，会对深度学习有个全新的认识，机器人圈希望可以为圈友的深度学习之路起到一些辅助作用。文章略长，时长大约20分钟，请仔细阅读收藏。 人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。
论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
从【DL笔记1】到【DL笔记N】以及【DL碎片】系列，是我学习深度学习一路上的点点滴滴的记录，是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、原理、公式，到用生动形象的例子去理解，到动手做实验去感知，到著名案例的学习，到用所学来实现自己的小而有趣的想法......我相信，一路看下来，我们可以感受到深度学习的无穷的乐趣，并有兴趣和激情继续钻研学习。 正所谓 Learning by teaching，写下一篇篇笔记的同时，我也收获了更多深刻的体会，希望大家可以和我一同进步，共同享受AI无穷的乐趣。
选自arXiv 作者：Shuai Li等 机器之心编译 参与：张倩、黄小天 近日，澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络 IndRNN，不仅可以解决传统 RNN 所存在的梯度消失和梯度爆炸问题，还学习长期依赖关系；此外，借助 relu 等非饱和激活函数，训练之后 IndRNN 会变得非常鲁棒，并且通过堆叠多层 IndRNN 还可以构建比现有 RNN 更深的网络。实验结果表明，与传统的 RNN 和 LSTM 相比，使用 IndRNN 可以在各种任务中取得更好的结果。同时本文还给出了 In
神经网络就是由若干神经元组合而成的网络结构，其包含输入层、隐藏层和输出层。而含有多层隐藏层的神经网络即为深度神经网络。下图给出了一个深度神经网络的示意图。
传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。
随着训练的进行，可能会出现神经元死亡，权重无法更新的情况。这种神经元的死亡是不可逆转的死亡。训练神经网络的时候，一旦学习率没有设置好，第一次更新权重的时候，输入是负值，那么这个含有ReLU的神经节点就会死亡，再也不会被激活。因为：ReLU的导数在x>0的时候是1，在x<=0的时候是0。如果x<=0，那么ReLU的输出是0，那么反向传播中梯度也是0，权重就不会被更新，导致神经元不再学习。也就是说，这个ReLU激活函数在训练中将不可逆转的死亡，导致了训练数据多样化的丢失。在实际训练中，如果学习率设置的太高，可能会发现网络中40%的神经元都会死掉，且在整个训练集中这些神经元都不会被激活。所以，设置一个合适的较小的学习率，会降低这种情况的发生。为了解决神经元节点死亡的情况，有人提出了Leaky ReLU、P-ReLu、R-ReLU、ELU等激活函数。
“当你正在深入研究深度学习的下一个重大突破时，或许会遇到一个不幸的挫折:你的神经网络不起作用。你去找你的老板/主管，但他们也不知道如何去解决这个问题——他们和你一样都是新手。那么现在该怎么办呢?” 因
人工神经网络表示一类机器学习的模型，最初是受到了哺乳动物中央神经系统研究的启发。网络由相互连接的分层组织的神经元组成，这些神经元在达到一定条件时就会互相交换信息（专业术语是激发（fire））。最初的研究开始于20世纪50年代后期，当时引入了感知机（Perceptron）模型。感知机是一个可以实现简单操作的两层网络，并在20世纪60年代后期引入反向传播算法（backpropagation algorithm）后得到进一步扩展，用于高效的多层网络的训练。有些研究认为这些技术起源可以追溯到比通常引述的更早的时候。直到20世纪80年代，人们才对神经网络进行了大量的学术研究，那时其他更简单的方法正变得更加有用。然后，由于G.Hinton提出的快速学习算法，以及2011年前后引入GPU后使大量数值计算成为可能，开始再度出现了神经网络研究的热潮。
我们知道，XORNet以及BNN都没有在反向传播阶段做梯度的量化，之前也没有任何工作可以在反向传播阶段将梯度量化到8位一下并且保持相当的预测精度。在BNN和XORNet中，虽然权重是二值化的，但是梯度仍然是全精度浮点数，因此在反向传播时反卷积依然是1bit和32bit数之间的运算，这导致BNN和XORNet的训练时间主要花在反向传播阶段。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
