神经网络(neual networks)是人工智能研究领域的一部分，当前最流行的神经网络是深度卷积神经网络(deep convolutional neural networks, CNNs)，虽然卷积网络也存在浅层结构，但是因为准确度和表现力等原因很少使用。目前提到CNNs和卷积神经网络，学术界和工业界不再进行特意区分，一般都指深层结构的卷积神经网络，层数从”几层“到”几十上百“不定。
先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。
卷积神经网络(Convolutional Neural Networks, ConvNets or CNNs)是一种在图像识别与分类领域被证明特别有效的神经网络。卷积网络已经成功地识别人脸、物体、交通标志，应用在机器人和无人车等载具。
选自 Analyticsvidhya 机器之心编译 作者：DISHASHREE GUPTA 近日，Dishashree Gupta 在 Analyticsvidhya 上发表了一篇题为《Architecture of Convolutional Neural Networks (CNNs) demystified》的文章，对用于图像识别和分类的卷积神经网络架构作了深度揭秘；作者在文中还作了通盘演示，期望对 CNN 的工作机制有一个深入的剖析。机器之心对本文进行了编译，原文链接见文末。 引言 先坦白地说，
先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。 接着有一天，我决定一步一步，从基础开始。我把技术操作的步骤分解开来，并手动执行这些步骤（和计算），直到我理解它们如何工作。这相当费时，且令人紧张，但是结果非凡。 现在，我不仅对深度学习有了全面的理解，还在此基础上有了好想法，因为我的基础很扎实。随意地应用神经网络是一回事，理解它是什么以及背后的发生机制是另外一回事。 今天，我将与你共享我的心得，展示我如何上手卷积神经网
作者：Owl of Minerva 量子位 已获授权编辑发布 转载请联系原作者 卷积神经网络（Convolutional Neural Network, CNN）是人工神经网络的一种，是当下语音分析和
知乎: https://www.zhihu.com/people/gong-jun-min-74
图是一种数据结构，可对一组对象（节点）及其关系（边）进行建模。近年来，由于图的强大表达能力，利用机器学习来分析图的研究受到越来越多的关注，即图可以用作包括社会科学（社会网络）在内的各个领域的大量系统的表示图是一种数据结构，可对一组对象（节点）及其关系（边）进行建模。
在SIGAI之前的公众号文章“反向传播算法推导-全连接神经网络”中，我们推导了全连接神经网络的反向传播算法。其核心是定义误差项，以及确定误差项的递推公式，再根据误差项得到对权重矩阵、偏置向量的梯度。最后用梯度下降法更新。卷积神经网络由于引入了卷积层和池化层，因此情况有所不同。在今天这篇文章中，我们将详细为大家推导卷积神经网络的反向传播算法。对于卷积层，我们将按两条路线进行推导，分别是标准的卷积运算实现，以及将卷积转化成矩阵乘法的实现。在文章的最后一节，我们将介绍具体的工程实现，即卷积神经网络的卷积层，池化层，激活函数层，损失层怎样完成反向传播功能。
上一小节遗留的问题就是，我们希望能够把图像一个区域与周围上下左右各个区域关联的这种特性学习到，也就是实现平移不变性，通俗来理解，一个好一点的办法就是在一个点上，把它周围的点都加起来放在这个点上，当做这个点的数据。 听起来是不是很简单，卷积就是大概实现了这个功能，我们看一下离散卷积的公式，既然这里说离散卷积，当然还有连续卷积，不过我们现在用不到，只考虑这个离散卷积就好了。
机器之心原创 作者：蒋思源 上周 Geoffrey Hinton 等人公开了那篇备受关注的 NIPS 论文，而后很多研究者与开发者都阅读了该论文并作出了一定的代码实现。机器之心在本文中将详细解释该论文提出的结构与过程，并借助 GitHub 上热烈讨论的项目完成了 CapsNet 的 TensorFlow 实现，并提供了主体架构的代码注释。 本文是机器之心的第三个 GitHub 项目，旨在解释 CapsNet 的网络架构与实现。为了解释 CapsNet，我们将从卷积层与卷积机制开始，从工程实践的角度解释卷积操
本文转载于：https://www.jiqizhixin.com/articles/2017-11-05。如有侵权请告知。
本文旨在介绍/更新Transformers背后的主要思想，并介绍在计算机视觉应用中使用这些模型的最新进展。
卷积神经网络（ConvNets 或者 CNNs）属于神经网络的范畴，已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。
大家好，我是禅师的助理兼人工智能排版住手助手条子。 虽然很不愿意提起这件伤心事，但国庆假期确实结束了?。在这说长不长说短也不算短的7天里，不知道大家有没有吃好喝好玩好pia学好呢？ 假期结束的头一天，
今天讲一下卷积层的反向传播实现，上一节已经详细讲解了卷积层的前向传播过程，大致思路就是使用im2col方法对数据进行重拍，然后利用sgemm算法计算出结果，反向传播实际上就是前向传播的逆过程，我们一起来分析一下源码吧。
神经网络基础 1、神经元（Neuron）——就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成
深度神经网络（DNN）起源于人工神经网络（ANN），传统的ANN虽然有很多科研成果，但是距离实际应用很远。DNN是ANN的扩展，基本想法是把ANN做的更深，使模型具有更强的表现力。由于数据集成指数级别增长，并且有越来越多类似GPU的设备应用，使DNN的运算能力爆发式增长，得以广泛应用。
正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分，本次将介绍卷积神经网络压缩的具体途径
1、将输入图像传递到第一个卷积层中，卷积后以激活图形式输出。 图片在卷积层中过滤后的特征会被输出，并传递下去 2、每个过滤器都会给出不同的特征，以帮助进行正确的类预测。 因为需要保证图像大小的一致，所以使用同样的填充（零填充）， 否则填充会被使用，因为它可以帮助减少特征的数量 零填充，可以理解为特征稀疏化，留下来的特征更能代表这个图像 3、随后加入池化层进一步减少参数的数量 4、在预测最终提出前，数据会经过多个卷积和池化层的处理。 卷积层会帮助提取特征，越深的卷积神经网络会提取越具体的特征， 越浅的网络提取越浅显的特征 5、CNN 中的输出层是全连接层，其中来自其他层的输入在这里被平化和发送， 以便将输出转换为网络所需的参数 6、随后输出层会产生输出，这些信息会互相比较排除错误。 损失函数是全连接输出层计算的均方根损失。随后我们会计算梯度错误 7、错误会进行反向传播，以不断改进过滤器（权重）和偏差值 8、一个训练周期由单次正向和反向传递完成
英文原文：https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力，在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。
1）神经元（Neuron）：就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络里，神经元接收输入，处理它并产生输出，而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。
神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。增加节点数：增加维度，即增加线性转换能力。增加层数：增加激活函数的次数，即增加非线性转换次数。
关键词：Python，tensorflow，深度学习，卷积神经网络 正文如下： 前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python，教程推荐使用pytho
分享一篇新出的 CVPR 2021 轻量级网络论文 Lite-HRNet: A Lightweight High-Resolution Network ，大名鼎鼎的HRNet的升级版。
作者：Aidan N. Gomez、Ivan Zhang、Kevin Swersky、Yarin Gal、Geoffrey E. Hinton
NLP 领域的机器学习工程师 Riccardo Di Sipio 日前提出了一个观点：使用卷积网络要比使用循环神经网络来做 NLP 研究，要幸福得多——是时候放弃循环神经网络了！
图论〔Graph Theory〕是数学的一个分支。它以图为研究对象。图论中的图是由若干给定的点及连接两点的线所构成的图形，这种图形通常用来描述某些事物之间的某种特定关系，用点代表事物，用连接两点的线表示相应两个事物间具有这种关系。
很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。
这篇文章主要介绍 Z. Dai 等人的论文 CoAtNet: Marrying Convolution and Attention for All Data Sizes。（2021 年）。
卷积神经网络（Convolutional Neural Network，CNN）是一种在计算机视觉领域取得了巨大成功的深度学习模型。它们的设计灵感来自于生物学中的视觉系统，旨在模拟人类视觉处理的方式。在过去几年中，CNN已经在图像识别、目标检测、图像生成和许多其他领域取得了显著的进展，成为了计算机视觉和深度学习研究的重要组成部分。
基本图结构包括用于连接节点的无向，无类型和唯一边。例如，在哲学领域，我们可以定义两个由“苏格拉底”和“柏拉图”实体表示的节点之间的链接。在这种特定情况下，我们不提供关于这些哲学家之间关系的任何信息。。
小编邀请您，先思考： 深度学习有哪些重要概念，怎么理解？ 深度学习和机器学习有什么异同？ 人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。 ——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡
卷积神经网络（Convolutional Neural Network，CNN）是一种在计算机视觉领域取得了巨大成功的深度学习模型。它们的设计灵感来自于生物学中的视觉系统，旨在模拟人类视觉处理的方式。在过去的几年中，CNN已经在图像识别、目标检测、图像生成和许多其他领域取得了显著的进展，成为了计算机视觉和深度学习研究的重要组成部分。
人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。 ——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡之中——一场由大数据和计算能力引起的革命。 只需要一分钟，我们来想象一下，在20世纪初，如果一个人不了解电力，他/她会觉得如何？你会习惯于以某种特定的方式来做事情，日复一日，年复一年，而你周围的一切事情都在发生变化，一件需要很多人才能完成的事情仅依靠一个人和电力就可以轻松搞
作者 | Star先生（CSDN博客专家） 作者专栏：http://dwz.cn/80rGi5 编辑：AI科技大本营 ▌神经网络基础 1）神经元（Neuron）：就像形成我们大脑基本元素的神经元一
很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。 相信读过此文的圈友，会对深度学习有个全新的认识，机器人圈希望可以为圈友的深度学习之路起到一些辅助作用。 人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。——马克.库班 马克.库班的这个观点可能听起来很极端——但是它所传达的信息是完全正确的！ 我们正处于一场革命的旋涡之中——一场由大数据和计算能
选自Lilian Weng的博客 作者：Lilian Weng 机器之心编译 编辑：赵阳 本文是一篇综述性的博客，探讨总结当下常用的大型 transformer 效率优化方案。 大型 Transformer 模型如今已经成为主流，为各种任务创造了 SOTA 结果。诚然这些模型很强大，但训练和使用起来代价非常昂贵。在时间和内存方面存在有极高的推理成本。概括来说，使用大型 Transformer 模型进行推理的难点，除了模型的规模不断扩大外，还有两个不可忽略的地方： 内存消耗大：推理时，需要把模型参数和中间状
参考CNN卷积神经网络学习笔记3：权值更新公式推导 后向传播的过程就是梯度向回传递，在CNN中，梯度的计算主要涉及三种情形
01 — 回顾 以上推送了神经网络相关的介绍性内容和相关的基础理论，包括： 神经网络的基本结构：输入层，隐含层，输出层； 批随机梯度下降算法（mini-batch SGD）； 前向传播，激活函数； 反向传播求参数的偏导，四个公式； 手写字数据集的mini-batch SGD 源码实现（借助BP算法求参数偏导）； 对隐藏层的感性认识，神经网络的隐含层是如何从具体到抽象层层构建的。 以上阐述了深度神经网络（DNN）的基本理论，关于这些介绍请参考以下推送： 为什么要有深度学习？系统学习清单 深度学习|神经网络模型
随着计算机学科与人工智能的发展和应用，视频分析技术迅速兴起并得到了广泛关注。视频分析中的一个核心就是人体行为识别，行为识别的准确性和快速性将直接影响视频分析系统后续工作的结果。因此，如何提高视频中人体行为识别的准确性和快速性，已成为视频分析系统研究中的重点问题。
《Keras快速上手：基于Python的深度学习实战》系统地讲解了深度学习的基本知识、建模过程和应用，并以深度学习在推荐系统、图像识别、自然语言处理、文字生成和时间序列中的具体应用为案例，详细介绍了从工具准备、数据获取和处理到针对问题进行建模的整个过程和实践经验，是一本非常好的深度学习入门书。本章节选自《Keras快速上手：基于Python的深度学习实战》第四章Keras入门部分内容。 福利提醒：在评论区留言，分享你的Keras学习经验，评论点赞数前五名可获得本书。时间截止周五（8月11日）晚22点
由于博主已经本硕博连读，九月份即将开始研究生生涯，遂开启论文阅读这一系列博文，主要介绍一些文章的主要思想和创新点，可能会详细介绍一下模型，如果喜欢的话多多关注，另外其他系列也会不定时更新，记得来看~
领取专属 10元无门槛券
手把手带您无忧上云
