论文：https://openaccess.thecvf.com/content_ICCV_2019/papers/Lee_SRM_A_Style-Based_Recalibration_Module_for_Convolutional_Neural_Networks_ICCV_2019_paper.pdf
【GiantPandaCV导语】这篇文章分享的是笔者最近在OneFlow做的一个项目，将Pytorch FX移植到OneFlow之后实现了自动量化感知训练动态图模型(在Pytorch和OneFlow中都称为nn.Module)。现在用户可以在自己构建的nn.Module基础上，修改很少的代码即可完成从nn.Module量化感知训练到用TensorRT将量化感知训练后的模型部署到GPU上运行的完整链路。在TensorRT上推理是利用了ONNX作为中间表示，即Oneflow动态图模型(nn.Module)->OneFlow量化感知训练模型(nn.Module)->OneFlow静态图(nn.Graph)->ONNX->TensorRT。量化感知训练是基于支持在Eager下写Pass的FX模块（FX被Pytorch率先提出，笔者将其基础设施移植到了OneFlow）来完成的。读者如果想体验这个功能可以按照本文的方法进行操作，有任何使用上的问题可以联系笔者。
在使用PyTorch进行多进程训练时，有时会遇到程序卡死的问题。本文将介绍可能导致torch多进程卡死的原因以及如何解决这个问题。
这[1]是关于使用 PyTorch Profiler 和 TensorBoard 分析和优化 PyTorch 模型主题的系列文章的第三部分。我们的目的是强调基于 GPU 的训练工作负载的性能分析和优化的好处及其对训练速度和成本的潜在影响。特别是，我们希望向所有机器学习开发人员展示 PyTorch Profiler 和 TensorBoard 等分析工具的可访问性。您无需成为 CUDA 专家即可通过应用我们在帖子中讨论的技术获得有意义的性能提升。
上篇ConvNext的文章有小伙伴问BottleNeck，Inverted Residual的区别，所以找了这篇文章，详细的解释一些用到的卷积块，当作趁热打铁吧
pip3 install https://download.pytorch.org/whl/cpu/torch-1.0.1-cp35-cp35m-win_amd64.whl pip3 install torchvision（可视化工具集）
我的名字是孟伟，这是安吉拉。今天我们非常高兴地讲解ExecuTorch，这是我们的一个新的端到端技术栈，帮助开发者在边缘设备上部署他们的PyTorch模型，这些设备包括智能手机、智能可穿戴设备和虚拟现实头显等等。
官网tutorial中显示图片的那部分我就直接省略了，因为跟训练网络无关，只是for fun
💡💡💡本文独家改进：RepGhost，通过重参数化实现硬件高效的Ghost模块，性能优于GhostNet、MobileNetV3等，在移动设备上具有更少的参数和可比的延迟。
从我们深度学习项目的高层视角或概括的角度来看，我们准备了数据，现在，我们准备构建我们的模型。
Pytorch提供的方法比numpy更全面，运算速度更快，如果需要的话，还可以使用GPU进行加速。
（1）nn.Module在pytorch中是基本的复类，继承它后会很方便的使用nn.linear、nn.normalize等。
本文讲解基于pytorch0.4.0版本，如不清楚版本信息请看这里。backward()在pytorch中是一个经常出现的函数，我们一般会在更新loss的时候使用它，比如loss.backward()。通过对loss进行backward来实现从输出到输入的自动求梯度运算。但是这里的backward()如果追根溯源一下，或者说Go to definition一下，我们会发现，其实这个backward是来源于torch.autograd.backward。
我们通过扩展nn.Module PyTorch基类来创建网络，然后在类构造函数中将网络层定义为类属性。现在，我们需要实现网络的 forward() 方法，最后，我们将准备训练我们的模型。
$$ \text{Attention}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}) = \text{softmax}(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}})\boldsymbol{V} $$
疫情在家的这段时间，想系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对 Pytorch 的使用依然是模模糊糊， 跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来， 学习知识，知其然，知其所以然才更有意思 ;)」。
调用net = LeNet(classes=2)创建模型时，会调用__init__()方法创建模型的子模块。
卷积神经网络在计算机视觉任务中表现优异，但由于嵌入式设备内存空间小，能耗要求低，因此需要使用更加高效的模型。例如，与单纯的堆叠卷积层相比GoogLeNet增加了网络的宽度但降低了复杂度，SqueezeNet在保持精度的同时大大减少参数和计算量，ResNet利用高效的bottleneck结构实现惊人的效果，Xception中提出深度可分卷积概括了Inception序列，MobileNet利用深度可分卷积构建的轻量级模型获得了不错的效果,Senet(取得了 ImageNet 2017 的冠军)引入了一个架构单元对 Channel 之间的信息进行显式建模，它以很小的计算成本提高了性能。而ShuffleNet主要使用了pointwise group convolution（分组的1×1卷积核）代替密集的1×1卷积来减小计算复杂度（因为作者发现，对于resnext中的每个residual unit，1×1卷积(逐点卷积)占据93.4%的运算）。同时为了消除pointwise group convolution带来的副作用，提出了一个新的channel shuffle操作来使得信息能够在特征通道上进行交叉流动，因此shuffleNet在保持原有准确率的条件下大大降低计算量。
基本概念 Tensor tensor是的含义是张量，简单的理解可以将其当成三维矩阵，pytorch中的张量是对数据的一种封装，也是数据结构中最核心的部分之一。对于pytorch中的张量，数组可能是更好的理解方法。 Tensor的定义 直接定义矩阵，使用torch.Tensor(shape)方法定义未初始化的张量，使用torch.rand(shape)或torch.randn(shape)定义随机张量 import torch as pt x = pt.Tensor(2,4) print(x) # 1.000
大家好，我叫Kulinseth，我在苹果的MPS团队工作，今天我将讨论PyTorch中MPS后端的改进。接下来，我将介绍MPS后端进入Beta Stage的新功能。我们添加了一些新功能，如支持分析器、自定义内核和MPS开发者API，这些都是MPS后端的新特性。
本节将介绍在pytorch中非常重要的类：nn.Module。在实现自己设计的网络时，必须要继承这个类，示例写法如下
注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。
有时，用户需要识别由代码更改导致的 PyTorch 操作符和 CUDA 内核的变化。为了支持这一需求，HTA 提供了一个追踪比较功能。该功能允许用户输入两组追踪文件，第一组可以被视为控制组，第二组可以被视为测试组，类似于 A/B 测试。TraceDiff类提供了比较追踪之间差异的函数以及可视化这些差异的功能。特别是，用户可以找到每个组中添加和删除的操作符和内核，以及每个操作符/内核的频率和操作符/内核所花费的累积时间。
在进行深度学习模型训练时，我们常常会遇到各种各样的错误消息。其中一个常见的错误是： too many indices for tensor of dimension 3 这个错误通常出现在处理张量（Tensor）的过程中，意味着我们在访问或操作张量时使用了过多的索引。
除了上述的模块之外，还有一个重要的概念是模型容器 (Containers)，常用的容器有 3 个，这些容器都是继承自nn.Module。
上一篇文章，我们详细介绍了Attention机制和视觉注意力机制在图像分类结构中的应用--SENet。本文我们将来聊一聊基于SENet的改进版--SKNet。
AI 科技评论按，本文不是 Python 的官方风格指南。本文总结了使用 PyTorch 框架进行深入学习的一年多经验中的最佳实践。本文分享的知识主要是以研究的角度来看的，它来源于一个开元的 github 项目。
深度学习表现为使用更巧妙的方法将线性函数和非线性函数进行组合。非线性函数的引入使得训练出来的模型更加强大。在本节中，我们将学习这些核心组件，建立目标函数，并理解模型是如何构建的。
在上一篇文章中，我们通过扩展PyTorch神经网络模块类并定义一些层作为类属性来开始构建CNN。通过在构造函数中指定它们，我们定义了两个卷积层和三个线性层。
GoogLeNet 引入了并行连结的网络结构，其基础卷积块称为 Inception 块，其结构如下：
BAM全程是bottlenect attention module，与CBAM很相似的起名，还是CBAM的团队完成的作品。
PyTorch 提供了大量与神经网络、任意张量代数、数据处理和其他目的相关的操作。然而，您可能仍然需要更定制化的操作。例如，您可能想使用在论文中找到的新型激活函数，或者实现您作为研究的一部分开发的操作。
pytorch中的Autograd mechanics(自动求梯度机制)是实现前向以及后向反馈运算极为重要的一环，pytorch官方专门针对这个机制进行了一个版块的讲解：
有些公式为图片，如果这个页面加载不出来，请看这里:https://oldpan.me/archives/pytorch-autograd-hook
nn.ModuleList的作用就是wrap pthon list，这样其中的参数会被注册，因此可以返回可训练参数(ParameterList)。
Module 类是 torch.nn 模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。
【GiantPandaCV导语】torch.fx对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面，torch.fx让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且torch.fx让后训练量化和感知训练量化以及AMP等的实现难度大大降低，这得益于我们可以直接在Python层操作这个IR，所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说，现在可以基于这个特性大开脑洞了。我之前围绕FX也做了一个QAT的工作，感兴趣可以阅读：基于OneFlow实现量化感知训练。torch.fx的卖点就是，它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库，并且非常方便的在这个IR上做Pass，同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。
原文：https://github.com/vahidk/EffectivePyTorch
这次的更新不仅将PyTorch的性能推到了新的高度，同时也加入了对动态形状和分布式的支持。
论文简介：训练更快，泛化更强的Dropout：Multi-Sample Dropout 论文标题：Multi-Sample Dropout for Accelerated Training and Better Generalization 论文链接：https://arxiv.org/pdf/1905.09788.pdf 论文作者：{Hiroshi Inoue}
torch.nn.Module是所有网络的基类，在PyTorch实现模型的类中都要继承这个类（这个在之前的课程中已经提到）。在构建Module中，Module是一个包含其他的Module的，类似于，你可以先定义一个小的网络模块，然后把这个小模块作为另外一个网络的组件。因此网络结构是呈现树状结构。
这是从l零开始实现YOLOv3目标检测教程的第2部分。在上一部分中，解释了YOLO的工作原理，在这一部分中，我们将在PyTorch中实现YOLO所使用的层。换句话说，这是我们创建模型构建模块的部分。
torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。
选自Medium 作者：Ayoosh Kathuria 机器之心编译 目标检测是深度学习近期发展过程中受益最多的领域。随着技术的进步，人们已经开发出了很多用于目标检测的算法，包括 YOLO、SSD、Mask RCNN 和 RetinaNet。在本教程中，我们将使用 PyTorch 实现基于 YOLO v3 的目标检测器，后者是一种快速的目标检测算法。该教程一共有五个部分，本文包含其中的前三部分。 在过去几个月中，我一直在实验室中研究提升目标检测的方法。在这之中我获得的最大启发就是意识到：学习目标检测的最佳方
目标检测是深度学习近期发展过程中受益最多的领域。随着技术的进步，人们已经开发出了很多用于目标检测的算法，包括 YOLO、SSD、Mask RCNN 和 RetinaNet。在本教程中，我们将使用 PyTorch 实现基于 YOLO v3 的目标检测器，后者是一种快速的目标检测算法。该教程一共有五个部分，本文包含其中的前三部分。
在过去几个月中，我一直在实验室中研究提升目标检测的方法。在这之中我获得的最大启发就是意识到：学习目标检测的最佳方法就是自己动手实现这些算法，而这正是本教程引导你去做的。
PyTorch既是一个深度学习框架又是一个科学计算包，她在科学计算方面主要是PyTorch张量库和相关张量运算的结果。（张量是一个n维数组或者是一个n－D数组）PyTorch是一个张量库，她紧密地反映了numpy的多维数组功能，并且与numpy本身有着高度的互操作性。Pytorch中常用包的介绍
物体检测技术，通常是指在一张图像中检测出物体出现的位置及对应的类别。我们要求检测器输出5个量：物体类别、
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
