CNN简介 文末附三份深度学习视频资源 后台回复关键词（20180310） 目录： 一些视频资源和文章 CNN简介 图像即四维张量？ 卷积的定义 CNN如何工作 最大池化与降采样 交流层 一些资源 卷积网络对图像进行物体辨识，可识别人脸、人类个体、道路标志、茄子、鸭嘴兽以及视觉数据中诸多其他方面的内容。卷积网络与运用光学字符辨识进行的文本分析有重合之处，但也可用于对离散文本单元以及声音形式的文本进行分析。 卷积网络（ConvNets）在图像辨识上的效能，是如今全球对深度学习产生兴趣的重要原因。卷积网络正推动
【导读】einsum 全称 Einstein summation convention（爱因斯坦求和约定），又称为爱因斯坦标记法，是爱因斯坦 1916 年提出的一种标记约定，本文主要介绍了einsum 的应用。
二维卷积应该是最常用的卷积方式了，在Pytorch的nn模块中，封装了nn.Conv2d()类作为二维卷积的实现。使用方法和普通的类一样，先实例化再使用。下面是一个只有一层二维卷积的神经网络，作为nn.Conv2d（）方法的使用简介：
目前主流的深度学习框架都选择使用计算图来抽象神经网络计算表达，通过通用的数据结构（张量）来理解、表达和执行神经网络模型，通过计算图可以把 AI 系统化的问题形象地表示出来。
Tensor是Tensorflow中最基础的数据结构，常常翻译为张量，可以理解为n维数组或矩阵，相关函数：
我们介绍卷积神经网络的卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。
TensorMask 密集实例分割效果示例。左图：示例图；右图：局部放大。图中可以看到，不仅较大和较小的物体都得到了较为完善的勾画，物体之间相互遮挡的边缘也能够正确地处理。
如图1所示，假设输入到神经网络中的是一张大小为256*256的图像，第一层隐藏层的神经元个数为241*241。在只考虑单通道的情况下，全连接神经网络输入层到第一层隐藏层的连接数为，也就是说输入层到第一层隐藏层有个参数（1为偏置项参数个数）。而在卷积神经网络中，假设我们使用了一个大小为16*16的卷积核，则输入层到第一层隐藏层的连接数为，由于我们的卷积核是共享的，因此参数个数仅为个。有时候为了提取图像中不同的特征，我们可能会使用多个卷积核，假设这里我们使用了100个大小为16*16的卷积核，则输入层到第一层隐藏层的参数个数也仅为，这依然远远少于全连接神经网络的参数个数。
量子化学计算中除了有大量的线性代数矩阵运算，也有一些张量计算。这些常见的张量计算出现在Fock算符构建、DIIS以及能量对坐标的一、二阶导数上。除此之外张量运算知识也用在Machine Learning以及一些特定的量化计算方法上。张量运算逐渐成为了必备的知识。
标题：PointPillars: Fast Encoders for Object Detection from Point Clouds
在使用PyTorch进行深度学习任务时，我们经常会遇到类型错误（TypeError）的异常。这篇技术博客文章将着重讲解一个常见的TypeError异常：TypeError: clamp(): argument 'min' must be Number, not Tensor。我们将详细解释这个异常的原因，并提供一些解决办法。
虽然张量看起来是复杂的对象，但它们可以理解为向量和矩阵的集合。理解向量和矩阵对于理解张量至关重要。
我们生活在大数据的时代，但在实际应用中，大多数数据是 “稀疏的”。例如，如果用一个庞大的表格表示亚马逊所有客户与其所有产品的对应映射关系，购买某个产品以 “1” 表示，未购买以 “0” 表示，这张表的大部分将会是 0。 使用稀疏数据进行分析的算法最终做了大量的加法和乘法，而这大部分计算是无效的。通常，程序员通过编写自定义代码来优化和避免零条目，但这种代码通常编写起来复杂，而且通常适用范围狭窄。 AI研习社 发现，在 ACM 的系统、程序、语言和应用会议（SPLASH）上，麻省理工学院、法国替代能源和原子能委
AI科技评论消息：我们生活在大数据的时代，但在实际应用中，大多数数据是“稀疏的”。例如，如果用一个庞大的表格表示亚马逊所有客户与其所有产品的对应映射关系，购买某个产品以“1”表示，未购买以“0”表示，这张表的大部分将会是0。 使用稀疏数据进行分析的算法最终做了大量的加法和乘法，而这大部分计算是无效的。通常，程序员通过编写自定义代码来优化和避免零条目，但这种代码通常编写起来复杂，而且通常适用范围狭窄。 AI科技评论发现，在ACM的系统、程序、语言和应用会议（SPLASH）上，麻省理工学院、法国替代能源和原子能
与数学上卷积的概念略有不同，在数学上，卷积的含义是将一个函数先进行y轴翻转，之后对应点相乘累加，在神经网路中，由于卷积核的参数是自己定义的，因此若要进行翻转，相当于修改卷积核的数值。因此，不需要再单独进行翻转，直接对应点相乘之后累加。具体过程如下图所示：
介绍: torch.floor() 用于将张量元素向下取整,得到不超过每个元素的最大整数。
说明： 比较元素是否相等，第二个参数可以是一个数，或者是第一个参数同类型形状的张量
这篇文章介绍深度学习四种主流的规范化, 分别是Batch Normalization(BN[9]), Layer Normalization(LN[7]), Instance Normalization(IN[8])以及Group Normalization(GN[2])。
翻译 | 林立宏 整理 | 凡江 背景 在这篇文章中，我将介绍几种低秩张量分解方法，用于在现有的深度学习模型中进行分层并使其更紧凑。我也将分享 PyTorch 代码，它使用 Tensorly（http://t.cn/REo7W8V ） 来进行在卷积层上的 CP 分解和 Tucker 分解。 尽管希望大部分帖子都是可以独立阅读的，关于张量分解的回顾可以在这里（http://t.cn/R5ZXkVo ）找到。Tensorly 的作者也写了于 Tensor 的基础内容非常棒的 notebook（ht
本文为PyTorch Fundamentals[1]的学习笔记，对原文进行了翻译和编辑，本系列课程介绍和目录在《使用PyTorch进行深度学习系列》课程介绍[2]。 文章将最先在我的博客[3]发布，其他平台因为限制不能实时修改。 在微信公众号内无法嵌入超链接，可以点击底部阅读原文[4]获得更好的阅读体验。
沿着坐标轴给出的维数减少input_张量。除非keepdims为真，否则对于轴上的每一项，张量的秩都会减少1。如果keepdims为真，则使用长度1保留缩减后的维度。如果轴为空，则所有维数都被缩减，并返回一个只有一个元素的张量。
②加载人脸数据并进行处理，并将其划分为训练集和测试集。每个人的图像按顺序排列，训练集包含每个人前6张图像，测试集包含剩余的图像。每个图像都被转换为像素值列表，并与相应的标签一起存储。
1 pytorch安装 安装pytorch之前，需要安装好python，还没安装过python的宝宝请先移步到廖雪峰的python教程，待安装熟悉完之后，再过来这边。 我们接着讲。 打开pytorch
上篇我们说到用「DQN」来实现贪吃蛇训练，也就是用**Q（s,a）**和搭建神经网络来实现。那么我们如何合理的处理数据？
下面是使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分，右边为黑暗部分，需要检测出光亮跟黑暗的分界处。
全文参考 《 基于 python 的深度学习实战》 import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten from keras.layers.convolutional import Conv2D, MaxPooling2D (x_train, y_train), (x_test, y_
argmax(...): 返回一个张量在轴上的最大值的指标。 (deprecated arguments)
在进行深度学习和神经网络开发时，Python的PyTorch库被广泛应用。PyTorch提供了丰富的功能和工具，使得开发人员能够快速构建和训练神经网络模型。然而，有时在使用PyTorch过程中可能会遇到一些问题。 其中一个常见的问题是在导入PyTorch相关模块时遇到"No module named 'torch_scatter'"错误。该错误通常出现在尝试使用torch_scatter模块时，而该模块不在PyTorch的默认安装中。解决这个问题的方法是安装和导入torch_scatter模块。 这里为您提供了一个解决方案，帮助您在PyTorch中解决"No module named 'torch_scatter'"错误。
可以看出，torch.Tensor()没有保留数值类型，其它三个都保留了。这是因为torch.Tensor()实际上是一个类，传入的数据需要“初始化”；其它三个都是函数，而通过torch.Tensor()生成的张量的数据类型是由一个环境变量决定的，这个环境变量可以通过torch.set_default_tensor_type(t)这个函数来设定。
【导读】如何对时间序列进行时空建模及特征抽取，是RGB视频预测分类，动作识别，姿态估计等相关领域的研究热点。清华大学、Google AI 和斯坦福大学李飞飞团队提出了一种具有强记忆力的E3D-LSTM网络，用3D卷积代替2D卷积作为LSTM网络的基础计算操作，并加入自注意力机制，使网络能同时兼顾长时和短时信息依赖以及局部时空特征抽取。这为视频预测、动作分类等相关问题提供了新思路，是一项非常具有启发性的工作。
可以看出，对于基本运算加（+）、减（-）、点乘（*）、除（/）、地板除法（//）、取余（%），都是对应元素进行运算。
使用到的数据集为IMDB电影评论情感分类数据集，该数据集包含 50,000 条电影评论，其中 25,000 条用于训练，25,000 条用于测试。每条评论被标记为正面或负面情感，因此该数据集是一个二分类问题。
张量流将稀疏张量表示为三个独立的稠密张量:指标、值和dense_shape。在Python中，为了便于使用，这三个张量被收集到一个SparseTensor类中。如果有单独的指标、值和dense_shape张量，在传递到下面的ops之前，将它们包装在sparse张量对象中。具体来说，稀疏张量稀疏张量(指标、值、dense_shape)由以下分量组成，其中N和ndims分别是稀疏张量中的值和维数：
注：张量默认创建int64（长整型）类型，整数型的数组默认创建int32（整型）类型。
虽然这次课程偏向实际操作，但是官方依旧非常友好地默认大家都是新手，从基础概念上开始逐步引入。
在机器学习和深度学习中，我们经常会遇到各种各样的错误。其中一个常见的错误是ValueError: Error when checking : expected input_1 to have 4 dimensions, but got array with shape (50, 50, 3)。这个错误通常出现在我们使用深度学习框架如TensorFlow或Keras进行图像处理时。
作者：Xinlei Chen、Ross Girshick、Kaiming He、Piotr Dollar
在语义分割的预测过程中，我们需要对每个像素进行目标检测，那就出现一个问题，我们先是对输入的图像通过二维卷积神经网络进行不断的高宽减半的压缩，最后得到一个预测，但我们如果需要对每个像素进行识别，就要通过预测反推每个像素里面的类别。举个例子，我们对猫狗识别时，我们不仅仅要识别猫在哪，还要将关于猫的每个像素给识别出来，这时就要求我们需要用到转置卷积。转置卷积可以使得图像不断变大，使得我们生成的图像和原始图像具有相同大小，那么我们就能够狠方便的进行语义分割。
三、tf.quantization.fake_quant_with_min_max_args
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
这是“标量对向量”求导数，行向量或列向量都不重要，向量只是一组标量的表现形式，重要的是导数“d组合/d股票”的“股票”的向量类型一致 (要不就是行向量，要不就是列向量)。
tensor(张量)是PyTorch中最基本的数据形式。 在PyTorch中，使用torch.Tensor类表示。
标题：Single-shot 3D shape measurement using an end-to-end stereo matching network for speckle projection profilometry
多加一个括号，结果都是一致的，都是表示二维张量，张量形状都是（4，9），所以二维有两种写法，但再加一层括号，形状就变成了(1,4,9)三维，判断维数技巧：最外面的括号去掉开始数，比如：
函数定义：torch.max(input, dim, max=None, max_indices=None，keepdim=False)
通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量被称为主成分。换句话来说是，当变量较多时，有些变量所反应的信息是重复的，主成分分析可以将重复信息的变量删去，尽量保留下相关性不高的变量，这些变量能更好的反应数据的特征。多用于数据的降维。
来源：AI蜗牛车、极市平台本文约9200字，建议阅读10+分钟本文为你简要介绍几种常见的CNN优化方法，并分享相关经验。 作者丨黎明灰烬来源｜https://zhuanlan.zhihu.com/p/80361782 引言 卷积（Convolution）是神经网络的核心计算之一，它在计算机视觉方面的突破性进展引领了深度学习的热潮。卷积的变种丰富，计算复杂，神经网络运行时大部分时间都耗费在计算卷积，网络模型的发展在不断增加网络的深度，因此优化卷积计算就显得尤为重要。 随着技术的发展，研究人员提出了多种优化算法
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
