这份演讲是为用过 并且有心为 PyTorch 做贡献但却被 PyTorch 那庞大的 C++ 代码库劝退的人提供的。没必要说谎：PyTorch 代码库有时候确实让人难以招架。
这份演讲是为用过 PyTorch并且有心为 PyTorch 做贡献但却被 PyTorch 那庞大的 C++ 代码库劝退的人提供的。没必要说谎：PyTorch 代码库有时候确实让人难以招架。
在PyTorch中，张量是核心数据结构，它是一个多维数组，类似Numpy中的数组。张量不仅仅是存储数据的容器，还是进行各种数学运算和深度学习操作的基础。
尽管张量在深度学习的世界中无处不在，但它是有破绽的。它催生出了一些坏习惯，比如公开专用维度、基于绝对位置进行广播，以及在文档中保存类型信息。这篇文章介绍了一种具有命名维度的替代方法 named tensor，并对其进行了概念验证。这一改变消除了对索引、维度参数、einsum 式解压缩以及基于文档的编码的需求。这篇文章附带的原型 PyTorch 库可以作为 namedtensor 使用。
选自TensorFlow Blog 机器之心编译 参与：王淑婷、路 TensorFlow 近日发布 TensorFlow.js 版本 PoseNet，该版本 PoseNet 只要电脑或手机配备了适当的网络摄像头，就可以直接在网页浏览器中进行体验。该模型源代码已开放，Javascript 开发者只需几行代码就可以修补和使用该技术。 通过与谷歌创意实验室合作，TensorFlow 近日发布了 TensorFlow.js 版的 PoseNet。这是一款机器学习模型，可以在浏览器中实时估计人体姿态。 模型 Demo
在与谷歌创意实验室的合作，我很高兴地宣布的发行TensorFlow.js版本PoseNet 机器学习模型，它允许在浏览器中实时估计人类姿态。在这里试试现场演示（链接在文末）。
选自blog.christianperone 作者：Christian S. Perone 机器之心编译 参与：思源、黄小天、李泽南 作为 Facebook 人工智能团队（FAIR）提供支持的深度学习框架，PyTorch 自 2017 年 1 月推出以来立即成为了一种流行开发工具。其在调试、编译等方面的优势使其受到了学界研究者们的普遍欢迎。本文中，来自蒙特利尔综合理工学院的研究员 Christian S. Perone 将为我们介绍这种神经网络框架的内部架构，揭开 PyTorch 方便好用的真正原因。 前言
先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。
近年来，卷积神经网络热度很高，在短时间内，这类网络成为了一种颠覆性技术，打破了从文本、视频到语音多个领域的大量最先进的算法，远远超出其最初在图像处理的应用范围。
CNN简介 文末附三份深度学习视频资源 后台回复关键词（20180310） 目录： 一些视频资源和文章 CNN简介 图像即四维张量？ 卷积的定义 CNN如何工作 最大池化与降采样 交流层 一些资源 卷积网络对图像进行物体辨识，可识别人脸、人类个体、道路标志、茄子、鸭嘴兽以及视觉数据中诸多其他方面的内容。卷积网络与运用光学字符辨识进行的文本分析有重合之处，但也可用于对离散文本单元以及声音形式的文本进行分析。 卷积网络（ConvNets）在图像辨识上的效能，是如今全球对深度学习产生兴趣的重要原因。卷积网络正推动
PyTorch是一个开源的Python机器学习库，基于Torch，已成为最受欢迎的机器学习框架之一。
本篇主要分享卷积神经网络（CNN）的数学原理解析，会让你加深理解神经网络如何工作于CNNs。出于建议，这篇文章将包含相当复杂的数学方程，如果你不习惯线性代数喝微分也没事，目的不是记住这些公式，而是对下面发生的事情有一个直观的认识。
在设计神经网络时，我们经常遇到张量整形的问题。张量的空间形状必须通过改变某一层来适应下游的层。就像具有不同形状的顶面和底面的乐高积木一样，我们在神经网络中也需要一些适配器块。
关于张量的底层存储逻辑这一部分看的我有点头大，但是了解底层实现确实有助于理解tensor中的各种运算到底是怎么一个回事，当然大部分时间我们可以不太会用到这些存储操作，但是熟悉这些底层实现，我觉得一方面可以帮我屏蔽一些开发上的bug，或者说在查bug的时候会往这个方面思考；再一个就是如果真的有需要做比较硬核的优化的时候也能够有点想法。
CNN，即卷积神经网络，主要用于图像识别，分类。这篇卷积神经网络是前面介绍的多层神经网络的进一步深入，它将深度学习的思想引入到了神经网络当中，通过卷积运算来由浅入深的提取图像的不同层次的特征，而利用神经网络的训练过程让整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。
本文讲解了CNN（卷积神经网络）的前向传播算法，包括输入层、卷积层、池化层和全连接层，以及激活函数、损失函数和优化算法。同时，还介绍了一些常见的CNN架构，如LeNet、AlexNet、VGG、ResNet和Inception。最后，总结了一下CNN前向传播算法的过程，以及反向传播算法和训练技巧。
先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。 接着有一天，我决定一步一步，从基础开始。我把技术操作的步骤分解开来，并手动执行这些步骤（和计算），直到我理解它们如何工作。这相当费时，且令人紧张，但是结果非凡。 现在，我不仅对深度学习有了全面的理解，还在此基础上有了好想法，因为我的基础很扎实。随意地应用神经网络是一回事，理解它是什么以及背后的发生机制是另外一回事。 今天，我将与你共享我的心得，展示我如何上手卷积神经网
原标题 | Gentle Dive into Math Behind Convolutional Neural Networks
卷积神经网络（Convolutional Neural Network，CNN）是前馈人工神经网络的一种。在图像识别领域有着广泛的应用并且非常有效。当人们谈到计算机视觉时，通常都绕不开卷积神经网络。
选自 Analyticsvidhya 机器之心编译 作者：DISHASHREE GUPTA 近日，Dishashree Gupta 在 Analyticsvidhya 上发表了一篇题为《Architecture of Convolutional Neural Networks (CNNs) demystified》的文章，对用于图像识别和分类的卷积神经网络架构作了深度揭秘；作者在文中还作了通盘演示，期望对 CNN 的工作机制有一个深入的剖析。机器之心对本文进行了编译，原文链接见文末。 引言 先坦白地说，
欢迎来到本书的第一部分。在这里，我们将与 PyTorch 迈出第一步，获得理解其结构和解决 PyTorch 项目机制所需的基本技能。
在卷积神经网络(CNN)模型结构中，我们对CNN的模型结构做了总结，这里我们就在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在（干货 | 深度学习之卷积神经网络(CNN)的模型结构）中，我们对CNN的模型结构做了总结，这里我们就在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。 深度学习系列 深度学习之DNN与前向传播算法 深度学习之DNN与反向传播算法 干货 | 深度学习之损失函数与激活函数的选择 干货 | 深度学习之DNN的多种正则化方式 干货 | 深度学习
卷积网络（convolutional network），也叫做卷积神经网络（convolutional neural network,CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据（可以认为是在时间轴桑有规律地采样形成的一维网格）和图像数据（可以看做二维的像素网格）。
本文转载于：https://www.jiqizhixin.com/articles/2017-11-05。如有侵权请告知。
机器之心原创 作者：蒋思源 上周 Geoffrey Hinton 等人公开了那篇备受关注的 NIPS 论文，而后很多研究者与开发者都阅读了该论文并作出了一定的代码实现。机器之心在本文中将详细解释该论文提出的结构与过程，并借助 GitHub 上热烈讨论的项目完成了 CapsNet 的 TensorFlow 实现，并提供了主体架构的代码注释。 本文是机器之心的第三个 GitHub 项目，旨在解释 CapsNet 的网络架构与实现。为了解释 CapsNet，我们将从卷积层与卷积机制开始，从工程实践的角度解释卷积操
本来个人是准备毕业直接工作的，但前段时间学校保研大名单出来之后，发现本人有保研机会，于是就和主管请了几天假，回学校准备保研的事情。经过两天的准备，也是非常幸运，成功拿到本院的保研名额。明确得到保研名额的时候已经是9月18号，然而国家推免系统开放时间是9月28号，也就是说我只还有10天时间准备保研，而且这个时间点很多学校夏令营、预报名活动早已结束，不再接受学生申请。所以能够申请的学校也就很少，同时这10天之间，还要赶回北京实习，所以时间还是很赶的。
卷积不会增大输入的高和宽，通常要么不变，要么减半。而转置卷积则可以用来增大输入高宽。
在使用深度学习框架如PyTorch或TensorFlow进行张量操作时，你可能会遇到一个错误，该错误提示 "张量用作索引必须是长整型或字节型张量"。这个错误通常发生在你试图使用一个张量作为另一个张量的索引时，但是张量的数据类型不适合用于索引。 在本篇博客文章中，我们将探讨这个错误背后的原因，如何理解它以及如何修复它。
在上一章中，我们了解到张量是 PyTorch 中数据的构建块。神经网络将张量作为输入，并产生张量作为输出。事实上，神经网络内部的所有操作以及优化过程中的所有操作都是张量之间的操作，神经网络中的所有参数（例如权重和偏置）都是张量。对于成功使用 PyTorch 这样的工具，对张量执行操作并有效地对其进行索引的能力至关重要。现在您已经了解了张量的基础知识，随着您在本书中的学习过程中，您对张量的灵活性将会增长。
今天，我想分享一种不同的方法来描绘矩阵，它不仅用于数学，也用于物理、化学和机器学习。基本想法是：一个带有实数项的 m×n 矩阵 M 可以表示从 R^n→R^m 的线性映射。这样的映射可以被描绘成具有两条边的节点。一条边表示输入空间，另一条边表示输出空间。
最近几年点云的三维目标检测一直很火，从早期的PointNet、PointNet++，到体素网格的VoxelNet，后来大家觉得三维卷积过于耗时，又推出了Complex-yolo等模型把点云投影到二维平面，用图像的方法做目标检测，从而加速网络推理。
在语义分割的预测过程中，我们需要对每个像素进行目标检测，那就出现一个问题，我们先是对输入的图像通过二维卷积神经网络进行不断的高宽减半的压缩，最后得到一个预测，但我们如果需要对每个像素进行识别，就要通过预测反推每个像素里面的类别。举个例子，我们对猫狗识别时，我们不仅仅要识别猫在哪，还要将关于猫的每个像素给识别出来，这时就要求我们需要用到转置卷积。转置卷积可以使得图像不断变大，使得我们生成的图像和原始图像具有相同大小，那么我们就能够狠方便的进行语义分割。
（第一部分 机器学习基础） 第01章 机器学习概览 第02章 一个完整的机器学习项目（上） 第02章 一个完整的机器学习项目（下） 第03章 分类 第04章 训练模型 第05章 支持向量机 第06章 决策树 第07章 集成学习和随机森林 第08章 降维 （第二部分 神经网络和深度学习） 第9章 启动和运行TensorFlow 第10章 人工神经网络 第11章 训练深度神经网络（上） 第11章 训练深度神经网络（下） 第12章 设备和服务器上的分布式 TensorFlow 第13章 卷积神经网络
在机器学习中，分类器将类别标签分配给数据点。例如，图像分类器针对图像中存在哪些对象产生类别标签（例如，鸟，飞机）。一个卷积神经网络，或CNN的简称，是一种类型的分类，在解决这个问题，其过人之处！
数组编程为访问、操纵和操作向量、矩阵和高维数组数据提供了功能强大、紧凑且易于表达的语法。NumPy是Python语言的主要数组编程库。它在物理、化学、天文学、地球科学、生物学、心理学、材料科学、工程学，金融和经济学等领域的研究分析流程中起着至关重要的作用。例如，在天文学中，NumPy是用于发现引力波[1]和首次对黑洞成像[2]的软件栈的重要组成部分。本文对如何从一些基本的数组概念出发得到一种简单而强大的编程范式，以组织、探索和分析科学数据。NumPy是构建Python科学计算生态系统的基础。它是如此普遍，甚至在针对具有特殊需求对象的几个项目已经开发了自己的类似NumPy的接口和数组对象。由于其在生态系统中的中心地位，NumPy越来越多地充当此类数组计算库之间的互操作层，并且与其应用程序编程接口（API）一起，提供了灵活的框架来支持未来十年的科学计算和工业分析。
本文介绍了如何利用TensorFlow搭建一个简单的CNN模型来识别MNIST数据集中的手写数字。首先，介绍了CNN模型的基本原理和TensorFlow中的Keras API。然后，使用MNIST数据集训练了一个具有卷积层和全连接层的CNN模型。最后，通过在测试集上评估模型的性能，得到了97.3%的准确率。
16并不是一个很大的数字。那么，在64个时钟周期内，计算一个卷积神经网络（Convolutional Neural Network，简称CNN），使其能够从16个输入通道、3*3张量卷积中生成具有16*16张瓦片图（tile）的16个输出通道，将需要多少MAC（Multiply-Accumulate Unit，乘加器）呢？
视频演示：https://mpvideo.qpic.cn/0b2eleaawaaaqeacrtymk5svawodbnmqacya.f10002.mp4?
在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中，卷积神经网络(Convolutional Neural Networks，以下简称CNN)是最为成功的DNN特例之一。CNN广泛的应用于图像识别，当然现在也应用于NLP等其他领域，本文我们就对CNN的模型结构做一个总结。
第13章 卷积神经网络 来源：ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者：@akonwang @WilsonQu 校对： @飞龙 尽管 IBM 的深蓝超级计算机在1996年击败了国际象棋世界冠军 Garry Kasparvo，直到近几年计算机都不能可靠地完成一些看起来较为复杂的任务，比如判别照片中是否有狗以及识别语音。为什么这些任务对于人类而言如此简单？答案在于感知主要发生在我们意识领域之外，在我们大脑中的专门视觉，听觉和其他感官模块内。当感官信
深度神经网络在计算机视觉任务中取得了显著的成功。对于输入图片，现有的神经网络主要在空间域中操作，具有固定的输入尺寸。然而在实际应用中，图像通常很大，必须被降采样到神经网络的预定输入尺寸。尽管降采样操作可以减少计算量和所需的通信带宽，但它会无意识地移除冗余和非冗余信息，导致准确性下降。受数字信号处理理论的启发，我们从频率的角度分析了频谱偏差，并提出了一种可学习的频率选择方法，可以在不损失准确性的情况下移除次相关的频率分量。在下游任务中，我们的模型采用与经典神经网络（如ResNet-50、MobileNetV2和Mask R-CNN）相同的结构，但接受频域信息作为输入。实验结果表明，与传统的空间降采样方法相比，基于静态通道选择的频域学习方法可以实现更高的准确性，同时能够减少输入数据的大小。具体而言，在相同的输入尺寸下，所提出的方法在ResNet-50和MobileNetV2上分别实现了1.60%和0.63%的top-1准确率提升。当输入尺寸减半时，所提出的方法仍然将ResNet-50的top-1准确率提高了1.42%。此外，我们观察到在COCO数据集上的分割任务中，Mask R-CNN的平均精度提高了0.8%。
3.1、线性回归 线性回归是显式解，深度学习中绝大多数遇到的都是隐式解。 3.1.1、PyTorch 从零实现线性回归 %matplotlib inline import random impo
PyTorch 的构建者表明，Pytorch 的哲学是解决当务之急，也就是说即时构建和运行我们的计算图。这恰好适合 Python 的编程理念，一边定义就可以在 Jupyter Notebook 一边运行，因此，PyTorch 的工作流程非常接近于 Python 的科学计算库 NumPy。
在过去几个月中，我一直在实验室中研究提升目标检测的方法。在这之中我获得的最大启发就是意识到：学习目标检测的最佳方法就是自己动手实现这些算法，而这正是本教程引导你去做的。
选自Medium 作者：Ayoosh Kathuria 机器之心编译 目标检测是深度学习近期发展过程中受益最多的领域。随着技术的进步，人们已经开发出了很多用于目标检测的算法，包括 YOLO、SSD、Mask RCNN 和 RetinaNet。在本教程中，我们将使用 PyTorch 实现基于 YOLO v3 的目标检测器，后者是一种快速的目标检测算法。该教程一共有五个部分，本文包含其中的前三部分。 在过去几个月中，我一直在实验室中研究提升目标检测的方法。在这之中我获得的最大启发就是意识到：学习目标检测的最佳方
目标检测是深度学习近期发展过程中受益最多的领域。随着技术的进步，人们已经开发出了很多用于目标检测的算法，包括 YOLO、SSD、Mask RCNN 和 RetinaNet。在本教程中，我们将使用 PyTorch 实现基于 YOLO v3 的目标检测器，后者是一种快速的目标检测算法。该教程一共有五个部分，本文包含其中的前三部分。
卷积神经网络（Convolutional Neural Network，CNN）是一种在计算机视觉领域取得了巨大成功的深度学习模型。它们的设计灵感来自于生物学中的视觉系统，旨在模拟人类视觉处理的方式。在过去的几年中，CNN已经在图像识别、目标检测、图像生成和许多其他领域取得了显著的进展，成为了计算机视觉和深度学习研究的重要组成部分。
领取专属 10元无门槛券
手把手带您无忧上云
