在使用Pytorch时你或多或少会遇到各种bug，为了缓解你的痛苦😢，本文将对常见的错误进行解释，并说清楚来龙去脉。 细节就是魔鬼，虽然代码不报错但还是可能会对精度带来影响。如果本文对你有帮助，请收藏&转发！ CrossEntropyLoss和NLLLoss 最常见的错误是损失函数和输出激活函数之间的不匹配。nn.CrossEntropyLossPyTorch中的损失模块执行两个操作：nn.LogSoftmax和nn.NLLLoss。 因此nn.CrossEntropyLossPyTorch的输入应该是
上一篇学习笔记介绍了不使用pytorch包装好的神经网络框架实现logistic回归模型，并且根据autograd实现了神经网络参数更新。
vgg是由牛津大学cv组和谷歌deepmind一起研究出来的深度卷积神经网络，我们通常说的vgg模型是指vgg-16（13层卷积层+3层全连接层）
视频演示：https://mpvideo.qpic.cn/0b2eleaawaaaqeacrtymk5svawodbnmqacya.f10002.mp4?
深度学习库Keras中的Sequential是多个网络层的线性堆叠，在实现AlexNet与VGG等网络方面比较容易，因为它们没有ResNet那样的shortcut连接。在Keras中要实现ResNet网络则需要Model模型。
Lenet 是一系列网络的合称，包括 Lenet1 - Lenet5，由 Yann LeCun 等人在 1990 年《Handwritten Digit Recognition with a Back-Propagation Network》中提出，是卷积神经网络的 HelloWorld。
接着上一小节说，我们已经把全连接网络建好了，接下来就需要去训练网络，找到合适的参数来拟合我们的训练数据，那么第一个事情就看损失函数。
Inception 是一个代号，是 Google 提出的一种深度卷积网络架构（PS：有一部电影的英文名就是它，中文名叫做盗梦空间）。
首先这是VGG的结构图，VGG11则是红色框里的结构，共分五个block，如红框中的VGG11第一个block就是一个conv3-64卷积层：
我们可以将这些单元神经元组合为层和堆栈，形成神经元网络。一个神经元层的输出变成另一层的输入。对于多个输入单元和输出单元，我们现在需要将权重表示为矩阵。
文字识别也是图像领域一个常见问题。然而，对于自然场景图像，首先要定位图像中的文字位置，然后才能进行文字的识别。
在深度学习中，注意力机制（Attention Mechanism）被广泛应用于各种任务，如自然语言处理、计算机视觉等。PyTorch作为一个流行的深度学习框架，提供了丰富的工具和库，方便我们实现和使用注意力模型。在本篇技术博客中，我们将介绍PyTorch中的注意力机制及其使用方法。
神经网络由对数据执行操作的层或模块组成。torch.nn命名空间提供了构建神经网络所需的所有模块。PyTorch中的每个模块都是 nn.Module 的子类。神经网络本身也是一个模块，但它由其他模块（层）组成。这种嵌套结构允许轻松构建和管理复杂的架构。
深度残差网络（Deep Residual Networks，简称ResNet）自从2015年首次提出以来，就在深度学习领域产生了深远影响。通过一种创新的“残差学习”机制，ResNet成功地训练了比以往模型更深的神经网络，从而显著提高了多个任务的性能。深度残差网络通过引入残差学习和特殊的网络结构，解决了传统深度神经网络中的梯度消失问题，并实现了高效、可扩展的深层模型。
摘要：BoTNet同时使用卷积和自注意力机制，即在ResNet的最后3个bottleneck blocks中使用全局多头自注意力（MHSA）替换3 × 3空间卷积;MHSA作为注意力机制加入yolov5/yolov7也取得了涨点
AlexNet是一个非常经典的卷积神经网络（Convolutional Neural Network, CNN），它由Alex Krizhevsky等人在2012年提出，并在ImageNet图像识别比赛中获得了很大的成功。AlexNet算法的出现标志着深度学习的兴起，并对后续的神经网络算法有着深远的影响。本篇文章将带你入门AlexNet算法的基本原理和实现。
本文主要是针对Representational Bottleneck问题进行的讨论，并提出了一套可以显著改善模型性能的设计原则。本文中作者认为在传统网络的设计的中可能会存在Representational Bottleneck问题，并且该问题会导致模型性能的降低。
这是重新构建了的DeeplabV3+语义分割网络，主要是文件框架上的构建，还有代码的实现，和之前的语义分割网络相比，更加完整也更清晰一些。建议还是学习这个版本的DeeplabV3+。
我们上次给新手们介绍了第一个合适入门的深度学习CV项目，可阅读【CV实战】年轻人的第一个深度学习CV项目应该是什么样的？（支持13大深度学习开源框架），本次我们再给大家介绍一个新的任务，图像分割，包括数据的处理，模型的训练与测试。
近期，公众号将推出卷积神经网络结构系列专题文章，将深入浅出的为大家介绍从1998年到2020年的卷积神经网络结构，深刻体会每种网络的前世今身和进化历程。本文作为开篇，我们一起来探索一下由CNN之父Yann LeCun在1998提出来的第一个神经网络结构——LeNet。
在上一篇文章中介绍了VGG网络结构，VGG在2014年ImageNet 中获得了定位任务第1名和分类任务第2名的好成绩，而同年分类任务的第一名则是GoogleNet 。GoogleNet是Google研发的深度网络结构，之所以叫“GoogLeNet”，是为了向“LeNet”致敬，有兴趣的同学可以看下原文Going Deeper with Convolutions。
《The Attention is all you need》的论文彻底改变了自然语言处理的世界，基于Transformer的架构成为自然语言处理任务的的标准。
理解1——Identity Mapping by Shortcuts（快捷恒等映射）
自今年7月1日起，上海市将正式实施 《上海市生活垃圾管理条例》。垃圾分类，看似是微不足道的“小事”，实则关系到13亿多人生活环境的改善，理应大力提倡。
AlexNet是第一个现代深度卷积网络模型，首次使用了许多现代深度卷积网络的技术方法，比如，采用ReLu作为非线性激活函数，使用Dropout防止过拟合，是用数据增强提高模型准确率，使用GPU进行并行训练等。
来自商汤和南洋理工的工作，也是使用卷积来增强模型提出low-level特征的能力，增强模型获取局部性的能力，核心贡献是LCA模块，可以用于捕获多层特征表示。相比DeiT，训练速度更快。
直接上代码，kaiming初始化真的猛。与LeNet相比，这里的主要变化是使用更小的学习速率训练，这是因为网络更深更广、图像分辨率更高，训练卷积神经网络就更昂贵。
到目前为止，我们已经仔细研究了线性模型如何学习以及如何在 PyTorch 中实现这一点。我们专注于一个非常简单的回归问题，使用了一个只有一个输入和一个输出的线性模型。这样一个简单的例子使我们能够剖析一个学习模型的机制，而不会过于分散注意力于模型本身的实现。正如我们在第五章概述图中看到的，图 5.2（这里重复为图 6.1），了解训练模型的高级过程并不需要模型的确切细节。通过将错误反向传播到参数，然后通过对损失的梯度更新这些参数，无论底层模型是什么，这个过程都是相同的。
上篇ConvNext的文章有小伙伴问BottleNeck，Inverted Residual的区别，所以找了这篇文章，详细的解释一些用到的卷积块，当作趁热打铁吧
上篇博文《使用循环神经网络做手写数字识别》介绍了利用LSTM做手写数字的识别，想着好事成双，也写一个姊妹篇卷积网络实现手写数字的识别。
文字识别是AI的一个重要应用场景，文字识别过程一般由图像输入、预处理、文本检测、文本识别、结果输出等环节组成。
CoAt=Convolution + Attention，paperwithcode榜单第一名，通过结合卷积与Transformer实现性能上的突破，方法部分设计非常规整，层层深入考虑模型的架构设计。
arXiv: https://arxiv.org/pdf/2108.10335.pdf
本文主要搭建了ResNet18网络架构，每个block中包含两个Basicblock，每个Basicblock中包含两层，除去输入层和输出层外，一共有16层网络。而且每一个Basciblock之后进行一次跳跃连接。在此基础上，利用CIFAR10上的数据集大小举例，说明了ResNet网络中每层输出的大小变化。
随着深度学习的飞速发展，模型越来越臃肿先进，运行SOTA模型的主要困难之一就是怎么把它塞到 GPU 上，毕竟，你无法训练一个设备装不下的模型。改善这个问题的技术有很多种，例如，分布式训练和混合精度训练。
来源：Deephub Imba 本文约2500字，建议阅读10分钟 本文中为你详细介绍两种创建嵌入提取器的方法。 对于图像生成方向目前通常使用的方法是生成对抗网络或扩散模型。尽管这两种方法有的不同的特点，但是他们的一个共同点是模型训练对机器资源的要求很高，如果我们要以一种全新的风格创建一个图像，模型将需要从头开始训练，这可能需要更多的时间和资源，例如比较熟悉的StyleGan[3]是在拥有8个Tesla V100 gpu的NVIDIA DGX-1上训练了大约一周的时间。 但是，如果我们没有这样的硬件资源
所谓“插件”，就是要能锦上添花，又容易植入、落地，即真正的即插即用。本文盘点的“插件”能够提升CNN平移、旋转、scale等变性能力或多尺度特征提取，感受野等能力，在很多SOTA网络中都会看到它们的影子。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
所谓“插件”，就是要能锦上添花，又容易植入、落地，即真正的即插即用。本文盘点的“插件”能够提升CNN平移、旋转、scale等变性能力或多尺度特征提取，感受野等能力，在很多SOTA网络中都会看到它们的影子。
import mxnet as mx from mxnet import nd from mxnet import gluon from mxnet import autograd from mxnet.gluon import nn from utils import load_data_fashion_mnist, accuracy, evaluate_accuracy 定义模型并添加丢弃层 # 定义模型 net = nn.Sequential() # 丢弃概率 drop_prob1 = 0.2 d
对于图像生成方向目前通常使用的方法是生成对抗网络或扩散模型。尽管这两种方法有的不同的特点，但是他们的一个共同点是模型训练对机器资源的要求很高，如果我们要以一种全新的风格创建一个图像，模型将需要从头开始训练，这可能需要更多的时间和资源，例如比较熟悉的StyleGan[3]是在拥有8个Tesla V100 gpu的NVIDIA DGX-1上训练了大约一周的时间。
上一小节我们终于开始搭建神经网络了，只不过它很简单，并且对我们更早的时候做的温度计转换模型做了一次迭代，甚至连效果都没有太大的变化，这一小节我们开始处理一些有意思的事情：做一个图像分类的模型。
这次是这周新复现的一些超分辨率相关的机器学习的东西, 所选文章是知乎帖子 [从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程]https://zhuanlan.zhihu.com/p/31664818 整理而来(文末点击原文可以跳转), 顺序接着上篇【AI】超分辨率经典论文复现(1)——2016年. 本文4.7k字, 篇幅不长. 由于复现了这么多网络, 现在对这个领域也熟悉了起来, 接下来我还会继续复现别的网络但是不会再这样按照一篇文章的顺序来进行了, 而是对感兴趣的进行复现然后凑够一定数量就发一篇.
批量归一化可以解决深层网络中梯度消失和收敛慢的问题，通过固定每个批次的均值和方差来加速收敛，一般不改变模型精度。批量规范化已经被证明是一种不可或缺的方法，它适用于几乎所有图像分类器。
让我们聚焦于神经网络局部：如图左侧所示，假设我们的原始输入为x，而希望学出的理想映射为f(x)（作为上方激活函数的输入）。左图虚线框中的部分需要直接拟合出该映射f(x)，而右图虚线框中的部分则需要拟合出残差映射f(x)−x。 残差映射在现实中往往更容易优化。 以本节开头提到的恒等映射作为我们希望学出的理想映射f(x)，我们只需将右图虚线框内上方的加权运算（如仿射）的权重和偏置参数设成0，那么f(x)即为恒等映射。 实际中，当理想映射f(x)极接近于恒等映射时，残差映射也易于捕捉恒等映射的细微波动。右图是ResNet的基础架构–残差块（residual block）。 在残差块中，输入可通过跨层数据线路更快地向前传播
在使用PyTorch进行深度学习模型训练和推理时，我们经常会使用state_dict来保存和加载模型的参数。然而，有时当我们尝试加载保存的state_dict时，可能会遇到Unexpected key(s) in state_dict错误，并指明错误的键名。本文将介绍该错误的原因和解决方法。
上一篇《pyTorch入门（一）——Minist手写数据识别训练全连接网络》搭建了全连接层和训练的文件，做了一个最简单的Minist训练，最终的训练结果达到了97%，这篇就来介绍一下pyTorch网络层比较常用的Api和卷积层
GoogLeNet 引入了并行连结的网络结构，其基础卷积块称为 Inception 块，其结构如下：
上次课我们讲解了对于CIFAR10数据读取部分代码的编写，本节讲解如何编写经典的LeNet5神经网络。
https://openaccess.thecvf.com/content/WACV2021/html/Dai_Attentional_Feature_Fusion_WACV_2021_paper.html
目标检测是计算机视觉中一个重要问题，在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来，随着深度学习对图像分类准确度的大幅度提高，基于深度学习的目标检测算法逐渐成为主流。
领取专属 10元无门槛券
手把手带您无忧上云
