数天前，陈天奇团队宣布推出 TVM，在微博上表示，「我们今天发布了 TVM，和 NNVM 一起组成深度学习到各种硬件的完整优化工具链，支持手机，cuda, opencl, metal, javascript 以及其它各种后端。欢迎对于深度学习，编译原理，高性能计算，硬件加速有兴趣的同学一起加入 dmlc 推动领导开源项目社区 。」 AI科技评论了解，大多数现有系统针对窄范围的服务器级 GPU 进行优化，且需要在包括手机、IOT 设备及专用加速器上部署大量工作。而 TVM 是一种将深度学习工作负载部署到硬件的
atrous_conv2d_transpose(): atrous_conv2d的转置。
1.tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 2.tf.nn.depthwise_conv2d(input, filter, strides, padding, name=None) 3.tf.nn.separable_conv2d(input, depthwise_filter, pointwise_filter, strides, padding, name=None) 4.tf.nn.atrous_conv2d(value, filters, rate, padding, name=None)
作者： 叶虎 编辑：王抒伟 算了 爱看多久看多久 零 引言： 卷积神经网络（CNN）已经普遍应用在计算机视觉领域，并且已经取得了不错的效果。图1为近几年来CNN在ImageNet竞赛的表现，可
从 MobileNet V1 到 MobileNet V2 ResNet、Inception、Xception 追求的目标，就是在达到更高的准确率的前提下，尽量在模型大小、模型运算速度、模型训练速度这几个指标之间找一个平衡点，如果在准确性上允许一定的损失，但是追求更小的模型和更快的速度，这就直接催生了 MobileNet 或类似的以手机端或嵌入式端为运行环境的网络结构的出现。 MobileNet V1 (https://arxiv.org/pdf/1704.04861.pdf) 和 MobileNet V
生成器为v1 ResNet模型。该函数生成一系列ResNet v1模型。有关特定的模型实例化，请参见resnet_v1_*()方法，该方法通过选择产生不同深度的resnet的不同块实例化获得。Imagenet上的图像分类训练通常使用[224,224]输入，对于[1]中定义的、标称步长为32的ResNet，在最后一个ResNet块的输出处生成[7,7]feature map。然而，对于密集预测任务，我们建议使用空间维度为32 + 1的倍数的输入，例如[321,321]。在这种情况下，ResNet输出处的特征映射将具有空间形状[(height - 1) / output_stride + 1， (width - 1) / output_stride + 1]和与输入图像角完全对齐的角，这极大地促进了特征与图像的对齐。对于密集预测任务，ResNet需要在全卷积(FCN)模式下运行，global_pool需要设置为False。[1,2]中的ResNets都有公称stride= 32，在FCN模式下，一个很好的选择是使用output_stride=16，以便在较小的计算和内存开销下增加计算特性的密度，cf. http://arxiv.org/abs/1606.00915。
最近 Google 的一篇文章 MLP-Mixer 很火，号称用只用 MLP 来做 CV 任务。不过显而易见的是，它在很多地方用到了卷积，只是没有说自己是在做卷积，而是用一堆奇奇怪怪的词来描述自己在做的运算。MLP-Mixer 的卷积本质已经有很多人指出了了，比如 LeCun 的 twitter。
该层创建了一个卷积核，该卷积核以 单个空间（或时间）维上的层输入进行卷积， 以生成输出张量。 如果 use_bias 为 True， 则会创建一个偏置向量并将其添加到输出中。 最后，如果 activation 不是 None，它也会应用于输出。
原文：AIUAI - 网络结构之 Inception V2 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Rethinking the Inception Architecture for Computer Vision GoogleNet 网络结构的一种变形 - InceptionV2，改动主要有： 对比 网络结构之 GoogleNet(Incept
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
slim中给出了resnet、vgg卷积网络的快速实现方法，定义的位置为:D:\anaconda\envs\tensorflow\Lib\site-packages\tensorflow\contrib\slim\python\slim\nets，构建残差网络主要使用的模块为resnet_utils.py、resnet_v1.py、resnet_v2.py。下面
论文作者发现在传统的深度学习网络中存在着大量冗余，但是对模型的精度至关重要的特征图。这些特征图是由卷积变化得到，又输入到下一个卷积层进行运算，这个过程包含大量的网络参数，消耗了大量的计算资源。如下面的ResNet-50某层中的特征图，扳手之间的两个特征图存在很强的线性关系，通过计算成本较低的操作即可得到。
WAVE SUMMIT 2019 深度学习开发者峰会上，PaddleSlim 全新发布，对于在内存紧张、功耗限制、存储有限的设备上进行深度学习应用的开发者是一份重磅惊喜。
PaddleSlim 是一个无论是新手还是经验者都可以很方便用来优化模型以进行部署的模型压缩库：在普通的模型训练上，只需要两行 python 代码，构造一个 Compressor 对象，即可调用。PaddleSlim 实现了目前主流的网络量化、剪枝、蒸馏三种压缩策略，并可快速配置多种压缩策略组合使用。针对体积已经很小的 MobileNet 模型，在模型效果不损失的前提下实现 70% 以上的体积压缩。
MobilenNet模型是一种轻量级的网络，核心思想便是深度可分离卷积（depthwise separable convolution） 正常卷积：卷积参数的总数=属性的总数x卷积核的大小。 深度可分离卷积：深度可分离卷积的方法有所不同。正常卷积核是对3个通道同时做卷积。也就是说，3个通道，在一次卷积后，输出一个数。
在机器学习和深度学习中，我们经常会遇到各种各样的错误。其中一个常见的错误是ValueError: Error when checking : expected input_1 to have 4 dimensions, but got array with shape (50, 50, 3)。这个错误通常出现在我们使用深度学习框架如TensorFlow或Keras进行图像处理时。
对n维logit张量的第n维执行softmax。对于二维logits，这可以归结为tf.n .softmax。第n个维度需要具有指定数量的元素(类的数量)。
知识的搬运工又来了 论文地址：shufflenetv1论文地址 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices。 shufflenet是一篇关于降低深度学习计算量的论文，其可以运行在手机等移动设备端，发表在了CVPR2018上
一、简介1、模块列表experimental module2、类列表class AveragePooling1D: 一维输入的平均池化层。class AveragePooling2D: 2D输入的平均池化层。class AveragePooling3D: 3D输入的平均池化层。class BatchNormalization: 批处理归一化层class Conv1D: 一维卷积层。class Conv2D: 二维卷积层。class Conv2DTranspose: 转置二维卷积层。class Conv3D:
现在我们来计算一下常规卷积的计算开销（以最简单的stride（步长）为的情况进行讨论）
我们对Keras应该已经有了一个直观、宏观的认识了。现在，我们来系统的学习一下Keras的一些关于网络层的API，本文的主要内容是围绕卷积展开的，包含以下的内容：
这篇博客仅对PicoDet的网络结构进行复现。PicoDet在一定程度上刷新了业界轻量级移动端模型的sota，这也是我比较感兴趣的地方。本文将PicoDet模型网络结构迁移到yolov5的平台，因为是anchor base的形式，在性能上与原生模型可能有一定的差异，以下是原生模型的性能指标。
下图为我们了展示了2018前常用CNN模型大小与Accuracy的比较，网络上不乏介绍CNN演进的文章[LeNet/AlexNet/Vgg/ Inception/ResNet]，写的也都很好，今天我们为各位读者介绍几个最新的CNN模型，如何搭建以及他们的优势在哪里。
所示，左边为常见的普通卷积运算，输出的每一个维度的特征都需要输入特征的每一个维度经过计算获得，但这样的计算量会比较大。因而在
最近出了一篇旷视科技的孙剑团队出了一篇关于利用Channel Shuffle实现的卷积网络优化——ShuffleNet。我关注了一下，原理相当简单。它只是为了解决分组卷积时，不同feature maps分组之间的channels信息交互问题，而提出Channel Shuffle操作为不同分组提供channels信息的通信的渠道。然而，当我读到ShuffleNet Unit和Network Architecture的章节，考虑如何复现作者的实验网络时，总感觉看透这个网络的实现，尤其是我验算Table 1的结果时，总出现各种不对。因此我将作者引用的最近几个比较火的网络优化结构（MobileNet，Xception，ResNeXt）学习了一下，终于在ResNeXt的引导下，把作者的整个实现搞清楚了。顺带着，我也把这项技术的发展情况屡了一下，产生了一些个人看法，就写下这篇学习笔记。
去年 10 月，谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后，昨日官方发布了 TensorFlow 2.1，本次版本更新带了了多项新特性、功能改进和 bug 修复。
机器之心原创 作者：蒋思源 前几天，Sara Sabour 开源了一份 Capsule 代码，该代码是论文 Dynamic Routing between Capsules 中所采用的实现。其实早在去年刚公布此论文，机器之心就曾详解解读过核心思想与基本代码，我们采用的代码也是各研究者尝试复现论文结果的模型。而最近 Sara 开放的代码是标准的官方实现，因此我们希望能解读部分核心代码，并探讨其与 naturomics 等人实现过程的差异。 Sara 实现地址：https://github.com/Sarasr
Depthwise卷积在设计更轻量高效的网络中经常被使用，但人们通常都忽略了Depthwise卷积中的卷积核大小（通常都是使用3x3）。在这篇工作中，我们研究了不同大小卷积核对网络性能的影响，并观察到不同大小卷积核相互组合，能得到更高的准确性。基于这个思想，我们得到了一个以不同大小卷积核组合成Depthwise卷积模块，再AutoML的搜索下，提出了一个更高效的网络Mixnet，超越大部分移动端网络如Mobilenetv1, v2, shufflenet等等。
Xception: Deep Learning with Depthwise Separable Convolutions
PyTorch既是一个深度学习框架又是一个科学计算包，她在科学计算方面主要是PyTorch张量库和相关张量运算的结果。（张量是一个n维数组或者是一个n－D数组）PyTorch是一个张量库，她紧密地反映了numpy的多维数组功能，并且与numpy本身有着高度的互操作性。Pytorch中常用包的介绍
VGGNet是牛津大学视觉几何组(Visual Geometry Group)提出的模型，该模型在2014ImageNet图像分类与定位挑战赛 ILSVRC-2014中取得在分类任务第二，定位任务第一的优异成绩。VGGNet突出的贡献是证明了很小的卷积，通过增加网络深度可以有效提高性能。
原文链接：https://www.cnblogs.com/DOMLX/p/9769301.html
将秩为R张量的给定维数分解为秩为(R-1)张量。通过沿着轴维对num张量进行切分，从值中解压缩num张量。如果没有指定num(默认值)，则从值的形状推断它。如果value.shape[axis]未知，将引发ValueError。
本来计划是想在今天讲EfficientNet PyTorch的，但是发现EfficientNet是依赖于SENet和MobileNet两个网络结构，所以本着本系列是给“小白”初学者学习的，所以这一课先讲解MobileNet，然后下一课讲解SENet，然后再下一课讲解EfficientNet，当然，每一节课都是由PyTorch实现的。
tensor.get_shape()或者tensor.shape是无法在计算图中用于确定张量的形状。
目前为止，介绍的神经网络模型都是通过Sequential模型来实现的。Sequential模型假设神经网络模型只有一个输入一个输出，而且模型的网络层是线性堆叠在一起的。
上下文信息在语义分割的成功中起着不可或缺的作用。事实证明，基于non-local的self-attention的方法对于上下文信息收集是有效的。由于所需的上下文包含空间和通道方面的注意力信息，因此3D表示法是一种合适的表达方式。但是，这些non-local方法是基于2D相似度矩阵来描述3D上下文信息的，其中空间压缩可能会导致丢失通道方面的注意力。另一种选择是直接对上下文信息建模而不进行压缩。但是，这种方案面临一个根本的困难，即上下文信息的高阶属性。本文提出了一种新的建模3D上下文信息的方法，该方法不仅避免了空间压缩，而且解决了高阶难度。受张量正则-多态分解理论（即高阶张量可以表示为1级张量的组合）的启发，本文设计了一个从低秩空间到高秩空间的上下文重建框架（即RecoNet）。具体来说，首先介绍张量生成模块（TGM），该模块生成许多1级张量以捕获上下文特征片段。然后，使用这些1张量通过张量重构模块（TRM）恢复高阶上下文特征。大量实验表明，本文的方法在各种公共数据集上都达到了SOTA。此外，与传统的non-local的方法相比，本文提出的方法的计算成本要低100倍以上。
紧接着上篇的MobileNet V1，Google在2018年的CVPR顶会上发表了MobileNetV2，论文全称为《MobileNetV2: Inverted Residuals and Linear Bottlenecks》，原文地址见附录。
本文重新回顾了常规卷积的设计，其具有两个重要性质，一个是空间无关性，比如3x3大小的卷积核是以滑窗的形式，滑过特征图每一个像素（即我们所说的参数共享）。另外一个是频域特殊性，体现在卷积核在每个通道上的权重是不同的。
众所周知，计算机视觉技术（CV）是企业人工智能应用比重最高的领域之一。为降低企业成本，工程师们一直在探索各类模型压缩技术，来产出“更准、更小、更快”的AI模型部署落地。而在自然语言处理领域（NLP）中，随着模型精度的不断提升，模型的规模也越来越大，例如以BERT、GPT为代表的预训练模型等，这成为企业NLP模型部署落地的拦路虎。
作者：叶 虎 编辑：李文臣 引言 1 ShuffleNet是旷视科技最近提出的一种计算高效的CNN模型，其和MobileNet和SqueezeNet等一样主要是想应用在移动端。所以，ShuffleNet的设计目标也是如何利用有限的计算资源来达到最好的模型精度，这需要很好地在速度和精度之间做平衡。ShuffleNet的核心是采用了两种操作：pointwise group convolution和channle shuffle，这在保持精度的同时大大降低了模型的计算量。目前移动端CNN模型主要设计思路主要
最近开始设计新的领域啦，语义分割也是图像处理一个非常重要的应用方向，我查了很多资料苦于如何入门，接下来给大家讲讲里面比较基础的segnet模型。在下一个BLOG我会跟大家讲怎么训练自己的segnet模型。
本文[1] 主要想分享一些可能有助于提高计算机视觉任务模型训练速度和准确性的一般技巧或建议，这些建议是通过课程、阅读顶级文章或论文学习所得来的。
An Overview of Model Compression and Acceleration Author:Jet Date:2023/07
最近在看轻量级网络的东西，发现这篇总结的非常的好，因此就翻译过来！总结各种变种，同时原理图非常的清晰，希望能给大家一些启发，如果觉得不错欢迎三连哈！
在解释特定的高效 CNN 模型之前，我们先检查一下高效 CNN 模型中组成模块的计算成本，然后看一下卷积是如何在空间和通道中执行的。
https://cloud.tencent.com/developer/article/1781616
GhostNet是华为诺亚方舟实验室提出的一个新型神经网络结构。目的类似Google提出的MobileNet，都是为了硬件、移动端设计的轻小网络，但是效果相比MobileNet更好。
领取专属 10元无门槛券
手把手带您无忧上云
