当我们在使用深度学习框架（如PyTorch或TensorFlow）时，经常会遇到各种错误信息。其中一个常见的错误是"invalid argument 0: Sizes of tensors must match except in dimension 0"。这个错误表示张量的尺寸不匹配，除了第0维之外。 出现这个错误的原因通常是因为我们在进行张量操作时，尺寸不一致导致的。下面我们将介绍一些解决这个问题的方法。
不要使用太大的线性层。因为nn.Linear(m,n)使用的是 的内存，线性层太大很容易超出现有显存。 不要在太长的序列上使用RNN。因为RNN反向传播使用的是BPTT算法，其需要的内存和输入序列
在深度学习中，当我们使用神经网络模型进行训练时，有时会遇到 "1D target tensor expected, multi-target not supported" 这样的错误信息。这个错误通常表示我们的模型期望一个一维向量作为目标值，但实际上我们传递了一个多维张量作为目标值。
这是有关分析和优化在 GPU 上运行的 PyTorch 模型主题的系列文章的第二部分。在第一篇文章中，我们演示了使用 PyTorch Profiler 和 TensorBoard 迭代分析和优化 PyTorch 模型的过程以及巨大潜力。在这篇文章中，我们将重点关注 PyTorch 中由于使用急切执行而特别普遍的特定类型的性能问题：模型执行部分对 CPU 的依赖。识别此类问题的存在和根源可能非常困难，并且通常需要使用专用的性能分析器。在这篇文章[1]中，我们将分享一些在使用 PyTorch Profiler 和 PyTorch Profiler TensorBoard 插件时识别此类性能问题的技巧。
1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异
我们 按照 pytorch入门教程（四）：准备图片数据集准备好了图片数据以后，就来训练一下识别这10类图片的cnn神经网络吧。 按照 pytorch入门教程（三）：构造一个小型CNN构建好一个神经网络
在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数：nn.CrossEntropyLoss()。该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于每个类分配权值，可选的参数权值应该是一个1D张量。当你有一个不平衡的训练集时，这是是非常有用的。那么针对这个函数，下面将做详细的介绍。
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
这[1]是关于使用 PyTorch Profiler 和 TensorBoard 分析和优化 PyTorch 模型主题的系列文章的第三部分。我们的目的是强调基于 GPU 的训练工作负载的性能分析和优化的好处及其对训练速度和成本的潜在影响。特别是，我们希望向所有机器学习开发人员展示 PyTorch Profiler 和 TensorBoard 等分析工具的可访问性。您无需成为 CUDA 专家即可通过应用我们在帖子中讨论的技术获得有意义的性能提升。
当我们在训练深度学习模型时，有时会遇到这样的错误消息：Expected more than 1 value per channel when training, got input size torch.Size。这个错误通常发生在使用PyTorch训练图像分类模型时，表示模型期望每个通道（channel）的输入数据不止一个值，但实际输入的大小却是torch.Size。
我们可以将这些单元神经元组合为层和堆栈，形成神经元网络。一个神经元层的输出变成另一层的输入。对于多个输入单元和输出单元，我们现在需要将权重表示为矩阵。
欢迎阅读这份有关 PyTorch 原理的简明指南[1]。无论您是初学者还是有一定经验，了解这些原则都可以让您的旅程更加顺利。让我们开始吧！
选自analyticsvidhya 机器之心编译 参与：思源 PyTorch 是一个有潜力能改变深度学习实现面貌的 Python 库，它的使用非常灵活与轻松。在本文中，我们将以更实用的方式探索 PyTorch，包括基础知识和案例研究等。此外，本文还将比较使用 NumPy 和 PyTorch 从头构建神经网络的方式，以了解它们在实现中的相似之处。 PyTorch 的构建者表明，PyTorch 的哲学是解决当务之急，也就是说即时构建和运行我们的计算图。这恰好适合 Python 的编程方法，因为我们不需等待整个代
使用Pytorch之前，首先要理清楚Pytorch基本架构。 Pytorch的核心库是torch，根据不同领域细分可以分成计算机视觉、自然语言处理和语音处理，这三个领域分别有自己对应的库，即torchvision、torchtext、torchaudio。
上一篇《pyTorch入门（一）——Minist手写数据识别训练全连接网络》搭建了全连接层和训练的文件，做了一个最简单的Minist训练，最终的训练结果达到了97%，这篇就来介绍一下pyTorch网络层比较常用的Api和卷积层
PyTorch的张量类似于Numpy数组，但它们提供了GPU加速和自动求导的功能。张量的创建可以通过torch.Tensor，也可以使用torch.zeros、torch.ones等函数。
在深度学习中，Tensor是一种重要的数据结构，它可以用来存储和处理多维数组。在PyTorch中，Tensor是一种非常基础且常用的数据类型，它支持很多高效的操作。本篇博客将介绍如何使用torch tensor，让你快速入门。
AiTechYun 编辑：yuxiangyu 每过一段时间，总会有一个python库被开发出来，改变深度学习领域。而PyTorch就是这样一个库。 在过去的几周里，我一直在尝试使用PyTorch。我发
我们将深入探讨使用 PyTorch 构建自己的神经网络必须了解的 2 个基本概念：张量和梯度。
机器之心整理 参与：蒋思源 MILA 实验室近日在 GitHub 上开启了一个初学者入门项目，旨在帮助 MILA 新生快速掌握机器学习相关的实践基础。目前该项目已经提供了一系列的 PyTorch 入门资料，并从张量、自动微分、图像识别、神经机器翻译和生成对抗网络等方面详细阐述。 项目地址：https://github.com/mila-udem/welcome_tutorials PyTorch 是 Torch 在 Python 上的衍生，它本质上是 Numpy 的替代者，而且支持 GPU 加速深度神经网
PyTorch 将被安装在 anaconda3/lib/python3.7/site-packages/torch/目录下。
原文标题： An Introduction to PyTorch – A Simple yet Powerful Deep LearningLibrary 作者：FAIZAN SHAIKH 翻译：和中
介绍: torch.floor() 用于将张量元素向下取整,得到不超过每个元素的最大整数。
张皓：南京大学计算机系机器学习与数据挖掘所（LAMDA）硕士生，研究方向为计算机视觉和机器学习，特别是视觉识别和深度学习。个人主页：
语言图像数据是深度学习技术的一种非常流行的用法。在本文中将讨论使用深度卷积神经网络识别花卉图像。
本文是PyTorch常用代码段合集，涵盖基本配置、张量处理、模型定义与操作、数据处理、模型训练与测试等5个方面，还给出了多个值得注意的Tips，内容非常全面。
因此，Conv2d图层需要使用Cin通道将高度为H且宽度为W的图像作为输入 。现在，对于卷积网络中的第一层，的数量in_channels将为3（RGB），并且out_channels用户可以定义数量。kernel_size大多采用3×3是，并且stride通常使用为1。
2017 年初，Facebook 在机器学习和科学计算工具 Torch 的基础上，针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。一经发布，这款开源工具包就受到广泛关注和讨论，
链接 | https://zhuanlan.zhihu.com/p/59205847
本教程展示了如何从了解张量开始到使用 PyTorch 训练简单的神经网络，是非常基础的 PyTorch 入门资源。PyTorch 建立在 Python 和 Torch 库之上，并提供了一种类似 Numpy 的抽象方法来表征张量（或多维数组），它还能利用 GPU 来提升性能。本教程的代码并不完整，详情请查看原 Jupyter Notebook 文档。 PyTorch 使入门深度学习变得简单，即使你这方面的背景知识不太充足。至少，知道多层神经网络模型可视为由权重连接的节点图就是有帮助的，你可以基于前向和反向传
现在，有人写了一个PyTorch wrapper，用一行代码就能“无痛”消除这个bug。
选自GitHub 机器之心编译 参与：路 本教程展示了如何从了解张量开始到使用 PyTorch 训练简单的神经网络，是非常基础的 PyTorch 入门资源。PyTorch 建立在 Python 和 Torch 库之上，并提供了一种类似 Numpy 的抽象方法来表征张量（或多维数组），它还能利用 GPU 来提升性能。本教程的代码并不完整，详情请查看原 Jupyter Notebook 文档。 PyTorch 使入门深度学习变得简单，即使你这方面的背景知识不太充足。至少，知道多层神经网络模型可视为由权重连接的节
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
PyTorch 的关键数据结构是张量，即多维数组。其功能与 NumPy 的 ndarray 对象类似，如下我们可以使用 torch.Tensor() 创建张量。如果你需要一个兼容 NumPy 的表征，或者你想从现有的 NumPy 对象中创建一个 PyTorch 张量，那么就很简单了。
而 PyTorh 是其中表现非常好的一个，今天我们就来开启 PyTorh 的入门之旅
翻译 | 林椿眄 出品 | AI 科技大本营（公众号ID：rgznai100） 一些你可能不知道的优质公众号！ 这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。 ▌目录 主要变化 张量/变量合并 零维张量 数据类型 版本迁移指南 新特性 张量 高级的索引功能 快速傅里叶变换 神经网络 权衡内存计算 瓶颈—用于识别代码热点的工具 torch中的分布 2
这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。
分类和回归是最常见的机器学习问题类型之一。在本笔记中，我们将使用 PyTorch 解决几个不同的分类问题（二元分类，多类分类，多标签分类）。换句话说，我们通过获取一组输入并预测这些输入集属于哪个类别。
当谈到基于CNN的深度学习例子时，图像分类是最常见的任务之一。CNN（卷积神经网络）在图像处理任务中表现出色，能够自动学习图像的特征表示。以下是一个基于CNN的图像分类示例，并给每一行添加了注释：
情感分析是一种流行的文本分析技术，用来对文本中的主观信息进行自动识别和分类。它被广泛用于量化观点、情感等通常以非结构化方式记录的信息，而这些信息也因此很难用其他方式量化。情感分析技术可被用于多种文本资源，例如调查报告、评论、社交媒体上的帖子等。
根据官方文档的介绍，此次增加了多个函数和功能，多方面的性能均实现提升。 重大变更 0.3 版本中删掉了 Variable.reinforce() 等随机函数，因为它们的功能有限，并且会影响到性能。设置随机函数的初衷是为了避免采样值的 book-keeping，在实际中，由于各种各样的原因，用户的代码中仍然会包括 book-keeping。他们引入了 torch.distributions 包来代替随机函数。 之前的代码如下： probs = policy_network(state) action = pr
如果你从事软件开发，你就会知道 Bug 是生活的一部分。当你开始你的项目时，Bug 就可能存在，当你把你的产品交付给客户时，Bug 也可能存在。在过去的几十年中，软件开发社区已经开发了许多的技术工具、IDE、代码库等来帮助开发者尽早地发现 Bug，以避免在产品交付的时候仍旧存在 Bug。
【导读】如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程，你就一定知道最基础的多分类问题。当中，老师一定会告诉你在全连接层后面应该加上 Softmax 函数，如果正常情况下（不正常情况指的是类别超级多的时候）用交叉熵函数作为损失函数，你就一定可以得到一个让你基本满意的结果。而且，现在很多开源的深度学习框架，直接就把各种损失函数写好了（甚至在 Pytorch中 CrossEntropyLoss 已经把 Softmax函数集合进去了），你根本不用操心怎么去实现他们，但是你真的理解为什么要这么做吗？这篇小文就将告诉你：Softmax 是如何把 CNN 的输出转变成概率，以及交叉熵是如何为优化过程提供度量。为了让读者能够深入理解，我们将会用 Python 一一实现他们。
一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)
领取专属 10元无门槛券
手把手带您无忧上云
