研究人员观察到，当涉及卷积神经网络时，越深越好是有意义的。因为模型应该更有能力（它们适应任何空间的灵活性增加，因为它们有更大的参数空间可供探索）。
GoogLeNet在2014年由Google团队提出（与VGG网络同年，注意GoogLeNet中的L大写是为了致敬LeNet），斩获当年ImageNet竞赛中Classification Task (分类任务) 第一名。原论文名称是《Going deeper with convolutions》，下面是该网络的缩略图，由于原论文提供的图太大，我将原图放在博文的最后。
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
因此，Conv2d图层需要使用Cin通道将高度为H且宽度为W的图像作为输入 。现在，对于卷积网络中的第一层，的数量in_channels将为3（RGB），并且out_channels用户可以定义数量。kernel_size大多采用3×3是，并且stride通常使用为1。
本章介绍了本书的两个主要主题：深度学习和 PyTorch。 在这里，您将能够探索深度学习的一些最受欢迎的应用，了解什么是 PyTorch，并使用 PyTorch 构建单层网络，这将是您将学习应用于现实生活的数据问题的起点。 在本章结束时，您将能够使用 PyTorch 的语法来构建神经网络，这在后续章节中将是必不可少的。
目前，有数十种深度学习框架可以解决 GPU 上的任何种类的深度学习问题，那么为什么我们还需要一个呢？ 本书是对这一百万美元问题的解答。 PyTorch 进入了深度学习家族，并有望成为 GPU 上的 NumPy。 自加入以来，社区一直在努力兑现这一承诺。 如官方文档所述，PyTorch 是针对使用 GPU 和 CPU 进行深度学习的优化张量库。 尽管所有著名的框架都提供相同的功能，但 PyTorch 相对于几乎所有框架都具有某些优势。
到目前为止，我们已经仔细研究了线性模型如何学习以及如何在 PyTorch 中实现这一点。我们专注于一个非常简单的回归问题，使用了一个只有一个输入和一个输出的线性模型。这样一个简单的例子使我们能够剖析一个学习模型的机制，而不会过于分散注意力于模型本身的实现。正如我们在第五章概述图中看到的，图 5.2（这里重复为图 6.1），了解训练模型的高级过程并不需要模型的确切细节。通过将错误反向传播到参数，然后通过对损失的梯度更新这些参数，无论底层模型是什么，这个过程都是相同的。
本章将介绍用于解决实际问题的深度学习架构的不同模块。前一章使用PyTorch的低级操作构建了如网络架构、损失函数和优化器这些模块。本章将介绍用于解决真实问题的神经网络的一些重要组件，以及PyTorch如何通过提供大量高级函数来抽象出复杂度。本章还将介绍用于解决真实问题的算法，如回归、二分类、多类别分类等。
编者按：自2017年提出以来，Transformer在众多自然语言处理问题中取得了非常好的效果。它不但训练速度更快，而且更适合建模长距离依赖关系，因此大有取代循环或卷积神经网络，一统自然语言处理的深度模型江湖之势。我们（赛尔公众号）曾于去年底翻译了哈佛大学Alexander Rush教授撰写的《Transformer注解及PyTorch实现》一文，并获得了广泛关注。近期，来自荷兰阿姆斯特丹大学的Peter Bloem博士发表博文，从零基础开始，深入浅出的介绍了Transformer模型，并配以PyTorch的代码实现。我非常喜欢其中对Self-attention（Transformer的核心组件）工作基本原理进行解释的例子。此外，该文还介绍了最新的Transformer-XL、Sparse Transformer等模型，以及基于Transformer的BERT和GPT-2等预训练模型。我们将其翻译为中文，希望能帮助各位对Transformer感兴趣，并想了解其最新进展的读者。
很早就想学习深度学习了，因为平时都是自学，业余时间也有限，看过几个pyTorch的入门，都是一些碎片化的东西，始终串不起来。最近也是正好赶的疫情，出差少了，也是在B站看pyTorch视频时有评论说刘二大人的《pyTorch深度学习实践》讲的好，整个教程看下来后，确实是深入浅出，感觉就是宛然打通自己任督二脉，算是入门了。
深度学习是机器学习父领域中的一个子领域，它是受大脑工作启发的一类算法的研究和应用。 给定足够的数据并通过它进行迭代，这些算法可以近似于描述数据的任何函数，并且正确地称为通用函数近似器。 那么 PyTorch 进入这个生态系统的位置是什么？
本教程展示了如何从了解张量开始到使用 PyTorch 训练简单的神经网络，是非常基础的 PyTorch 入门资源。PyTorch 建立在 Python 和 Torch 库之上，并提供了一种类似 Numpy 的抽象方法来表征张量（或多维数组），它还能利用 GPU 来提升性能。本教程的代码并不完整，详情请查看原 Jupyter Notebook 文档。 PyTorch 使入门深度学习变得简单，即使你这方面的背景知识不太充足。至少，知道多层神经网络模型可视为由权重连接的节点图就是有帮助的，你可以基于前向和反向传
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的PyTorch小试牛刀。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
选自GitHub 机器之心编译 参与：路 本教程展示了如何从了解张量开始到使用 PyTorch 训练简单的神经网络，是非常基础的 PyTorch 入门资源。PyTorch 建立在 Python 和 Torch 库之上，并提供了一种类似 Numpy 的抽象方法来表征张量（或多维数组），它还能利用 GPU 来提升性能。本教程的代码并不完整，详情请查看原 Jupyter Notebook 文档。 PyTorch 使入门深度学习变得简单，即使你这方面的背景知识不太充足。至少，知道多层神经网络模型可视为由权重连接的节
最近有一个比较火的ocr项目：chineseocr_lite[1]，项目中很贴心地提供了ncnn的模型推理代码，只需要
PyTorch 的关键数据结构是张量，即多维数组。其功能与 NumPy 的 ndarray 对象类似，如下我们可以使用 torch.Tensor() 创建张量。如果你需要一个兼容 NumPy 的表征，或者你想从现有的 NumPy 对象中创建一个 PyTorch 张量，那么就很简单了。
原标题 | A Gentle Introduction to PyTorch 1.2
PyTorch框架中torchvision模块下有：torchvision.datasets、torchvision.models、torchvision.transforms这3个子包。 关于详情请参考官网： http://pytorch.org/docs/master/torchvision/index.html。 具体代码可以参考github： https://github.com/pytorch/vision/tree/master/torchvision。
在之前的教程中，我们基于 MNIST 数据集训练了一个识别手写数字的 logistic 回归模型，并且达到了约 86% 的准确度。
在深度学习中，注意力机制（Attention Mechanism）被广泛应用于各种任务，如自然语言处理、计算机视觉等。PyTorch作为一个流行的深度学习框架，提供了丰富的工具和库，方便我们实现和使用注意力模型。在本篇技术博客中，我们将介绍PyTorch中的注意力机制及其使用方法。
卷积神经网络（Convolutional Neural Networks, CNN）的复杂性和灵活性使其成为深度学习领域的核心研究主题之一。在本引言部分中，我们将深入探讨CNN的历史背景、基本原理、重要性以及其在科学和工业领域的影响。
欢迎来到本书的第一部分。在这里，我们将与 PyTorch 迈出第一步，获得理解其结构和解决 PyTorch 项目机制所需的基本技能。
您可以使用AutoBackbone类初始化一个模型作为骨干，并获取任何阶段的特征图。您可以定义out_indices来指示您想要从哪些层获取特征图。如果您知道层的名称，也可以使用out_features。您可以互换使用它们。如果同时使用out_indices和out_features，请确保它们是一致的。不传递任何特征图参数将使骨干产生最后一层的特征图。为了可视化各个阶段的外观，让我们以 Swin 模型为例。每个阶段负责特征提取，输出特征图。
在多个 GPU 上进行训练可能是一个棘手的任务，无论是遇到安装问题还是 GPU 之间的通信问题。这个调试指南涵盖了一些可能遇到的问题以及如何解决它们。
OpenMMLab 的算法如何部署？是很多社区用户的困惑。而模型部署工具箱 MMDeploy 的开源，强势打通了从算法模型到应用程序这 "最后一公里"！
本文分享论文『Patches Are All You Need?』，提出《ConvMixer》，只需 7 行 pytorch 代码实现的网络，就能在 ImageNet 上达到 80%+ 的精度！ 详细
这是一个最近推出的模型，因此 API 尚未经过广泛测试。可能会有一些错误或轻微的破坏性更改，需要在未来修复。如果发现异常，请提交Github Issue。
本章开始了一段旅程，我们将深入研究我们在前几章中使用的模型的内部。我们将涵盖许多我们以前见过的相同内容，但这一次我们将更加密切地关注实现细节，而不那么密切地关注事物为什么是这样的实际问题。
Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。
在使用Pytorch时你或多或少会遇到各种bug，为了缓解你的痛苦😢，本文将对常见的错误进行解释，并说清楚来龙去脉。 细节就是魔鬼，虽然代码不报错但还是可能会对精度带来影响。如果本文对你有帮助，请收藏&转发！ CrossEntropyLoss和NLLLoss 最常见的错误是损失函数和输出激活函数之间的不匹配。nn.CrossEntropyLossPyTorch中的损失模块执行两个操作：nn.LogSoftmax和nn.NLLLoss。 因此nn.CrossEntropyLossPyTorch的输入应该是
语言图像数据是深度学习技术的一种非常流行的用法。在本文中将讨论使用深度卷积神经网络识别花卉图像。
“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参数用来存储模型的权重和偏差等信息。例如：
现在很多数学专业的硕博发论文，都感觉超级难。所以，有一个路子可以走，那就是发计算机方向的。
疫情在家的这段时间，想系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实，对 Pytorch 的使用依然是模模糊糊， 跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来， 学习知识，知其然，知其所以然才更有意思 ;)」。
本文为《通过深度学习了解建筑年代和风格》论文复现的第五篇——训练识别建筑年代的深度学习模型，我们会使用Python中的PyTorch库来训练模型，模型将选用基于DenseNet121的深度卷积神经网络（DCNN）作为骨干进行迁移学习，数据集采用Part3-2.获取高质量的阿姆斯特丹建筑立面图像（下）中获取的阿姆斯特丹的7万多张谷歌街景图像。在处理过程中我们会进一步优化模型，避免欠拟合和过度拟合，并且使用Tensorboard[2]实时查看训练过程。下篇文章[3]我们会对建筑年代的模型使用进行评价，并从空间角度进行分析。
条件 DETR 模型是由孟德普、陈晓康、范泽佳、曾刚、李厚强、袁宇辉、孙磊、王京东在用于快速训练收敛的条件 DETR中提出的。条件 DETR 提出了一种用于快速 DETR 训练的条件交叉注意力机制。条件 DETR 的收敛速度比 DETR 快 6.7 倍至 10 倍。
本系列开始介绍PyTorch的流水线并行实现。实质上，PyTorch就是 GPipe 的PyTorch版本。这些开源软件在互相借鉴思路，互相学习，从 PyTorch 的源码注释中，可以见到我们之前介绍的部分框架/库的引用或者论文链接。
导语：今天为大家带来最近更新的Pytorch的更新点介绍，另外，小编Tom邀请你一起搞事情！，源代码可以扫描二维码进群找小编获取哦~ Tensorflow 主要特征和改进 •在Tensorflow库中添加封装评估量。所添加的评估量列表如下： 1. 深度神经网络分类器（DNN Classifier） 2. 深度神经网络回归量（DNN Regressor） 3. 线性分类器（Linear Classifier） 4. 线性回归量（Linea rRegressor） 5. 深度神经网络线性组合分类器（DNN L
虽然这是一个非官方的 指南，但本文总结了一年多使用 PyTorch 框架的经验，尤其是用它开发深度学习相关工作的最优解决方案。请注意，我们分享的经验大多是从研究和实践角度出发的。
卷积神经网络(Convolution Neural Network)是深度学习领域中的一种特征提取工具。相较于传统的全连接神经网络(Fully-Connected Neural Network)，卷积神经网络具有局部连接(local connectivity) 和 参数共享(parameter sharing)的优势，在减少了参数的情况下提高了特征提取的能力，因此被广泛使用。本文从PyTorch官方文档中关于torch.nn.conv2d的内容出发来解释多通道卷积的概念.
作者介绍：高扬，奇点大数据创始人。技术畅销书《白话大数据与机器学习》、《白话深度学习与Tensorflow》、《数据科学家养成手册》著书人。重庆工商大学研究生导师。真传X《深度学习实战60小时》金牌讲师。擅长用简单的语言把复杂的技术问题讲明白。
本篇文章首先介绍DenseNet的原理以及网路架构，然后讲解DenseNet在Pytorch上的实现。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 16 个在目标检测任务上曾取得 SOTA 的经典模型。 第 1 期：R-CNN、SPP-Net、Fast R-CNN、Faster R-C
作者：MXNet 作者 / 亚马逊主任科学家 李沐 【新智元导读】PyTorch 是一个纯命令式的深度学习框架。它因为提供简单易懂的编程接口而广受欢迎，而且正在快速的流行开来。MXNet通过ndarray和 gluon模块提供了非常类似 PyTorch 的编程接口。本文将简单对比如何用这两个框架来实现同样的算法。 PyTorch 是一个纯命令式的深度学习框架。它因为提供简单易懂的编程接口而广受欢迎，而且正在快速的流行开来。例如 Caffe2 最近就并入了 PyTorch。 可能大家不是特别知道的是，MXN
作者：Jack Chih-Hsu Lin翻译：陈之炎校对：王紫岳 本文约4600字，建议阅读9分钟18个必须知道的PyTorch提速秘籍：工作原理和方法。 调整深度学习管道如同找到合适的齿轮组合（图片来源：Tim Mossholder） 为什么要阅读本博？ 深度学习模型的训练/推理过程涉及到多个步骤。在时间和资源受限的情况下，实验迭代速度越快，越能优化模型的预测性能。本博收集整理了些许能够最大限度提高内存效率以及最小化运行时间的PyTorch的技巧和秘籍。但为了更好地利用这些技巧，我们还需要了解它的工
作者 | 李理 环信人工智能研发中心 VP，十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。 想要详细了解该系列文章，营长建议你先阅读上篇：一文详解循环神经网络的基本概念（代码版） Tensor 和TensorFlow 类似，PyTorch 的核心对象也是Tensor。下面是创建Tensor 的代码： x = torch.Tensor(5, 3) print(x) 对应的下标是5，那么在这个下标的值为1，而其余的值为0，
我们知道，在学习深度学习的过程中，搭建网络是我们必须要掌握的，在搭建网络的过程中，我们也遇到了很很多的问题，为什么要使用卷积层，卷积层的参数我们应该怎么去定义，以及为什么要去用池化，池化的参数又该怎么去定义，还有连接层？这些都是在搭建优质网络中必须要使用的。该怎么去使用？各层的参数该怎么定义？
分类问题属于机器学习问题的类别，其中给定一组特征，任务是预测离散值。分类问题的一些常见示例是，预测肿瘤是否为癌症，或者学生是否可能通过考试。
深度学习是关于数据的，我们需要将数据以矩阵或更高维向量的形式表示并对它们执行操作来训练我们的深度网络。所以更好地理解矩阵运算和线性代数将帮助您对深度学习算法的工作原理有更好的理解。这就是为什么线性代数可能是深度学习中最重要的数学分支。在这篇文章中，我将尝试对线性代数做一个简单的介绍。
本文介绍了torchlayers。torchlayers 旨在做Keras为TensorFlow所做的事情，它提供了更高级的模型构建的API和一些方便的默认值以及附加功能，这些功能对构建PyTorch神经网络很有用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
