在本文中，将展示一个简单的分步过程，以在PyTorch中构建2层神经网络分类器（密集连接），从而阐明一些关键功能和样式。
选自Stanford 作者：李飞飞等 机器之心编译 参与：Smith、蒋思源 斯坦福大学的课程 CS231n (Convolutional Neural Networks for Visual Recognition) 作为深度学习和计算机视觉方面的重要基础课程，在学界广受推崇。今年 4 月，CS231n 再度开课，全新的 CS231n Spring 2017 仍旧由李飞飞带头，带来了很多新鲜的内容。今天机器之心给大家分享的是其中的第八讲——深度学习软件（Deep Learning Software）。主
文章超长，秉承用代码搞定一切的原则，内含大量代码，建议收藏，并分享给你喜欢的人。同时如果有什么疑问，也欢迎留言告知我们。
👋 今天我们继续来聊聊PyTorch，这个在深度学习领域火得一塌糊涂的开源机器学习库。PyTorch以其灵活性和直观的操作被广大研究人员和开发者所青睐。
我们以最简单的网络定义来学习pytorch的基本使用方法，我们接下来要定义一个神经网络，包括一个输入层，一个隐藏层，一个输出层，这些层都是线性的，给隐藏层添加一个激活函数Relu，给输出层添加一个Sigmoid函数
因此，Conv2d图层需要使用Cin通道将高度为H且宽度为W的图像作为输入 。现在，对于卷积网络中的第一层，的数量in_channels将为3（RGB），并且out_channels用户可以定义数量。kernel_size大多采用3×3是，并且stride通常使用为1。
线性回归是一种统计学中的预测分析，该方法用于建立两种或两种以上变量间的关系模型。线性回归使用最佳的拟合直线（也称为回归线）在独立（输入）变量和因变量（输出）之间建立一种直观的关系。简单线性回归是输入变量和输出变量之间的线性关系，而多元线性回归是多个输入变量和输出变量之间的线性关系。
生成对抗网络及其变体的实现分为基于 Keras 和基于 PyTorch 两个版本。它们都是按照原论文实现的，但模型架构并不一定完全和原论文相同，作者关注于实现这些论文最核心的思想，而并不确定所有层级的配置都和原论文完全一致。本文首先将介绍各种 GAN 的论文摘要，然后提供详细论文和实现的地址。
在机器学习中，多分类问题是指将样本分为两个以上的类别。为了对多分类问题进行有效的训练，我们需要使用适当的损失函数来度量模型预测与真实标签之间的差异。PyTorch是一个流行的深度学习框架，提供了多种多分类损失函数的实现。本文将带您了解PyTorch中一些常用的多分类损失函数及其用法。
当我们在使用深度学习框架（如PyTorch或TensorFlow）时，经常会遇到各种错误信息。其中一个常见的错误是"invalid argument 0: Sizes of tensors must match except in dimension 0"。这个错误表示张量的尺寸不匹配，除了第0维之外。 出现这个错误的原因通常是因为我们在进行张量操作时，尺寸不一致导致的。下面我们将介绍一些解决这个问题的方法。
这是有关分析和优化在 GPU 上运行的 PyTorch 模型主题的系列文章的第二部分。在第一篇文章中，我们演示了使用 PyTorch Profiler 和 TensorBoard 迭代分析和优化 PyTorch 模型的过程以及巨大潜力。在这篇文章中，我们将重点关注 PyTorch 中由于使用急切执行而特别普遍的特定类型的性能问题：模型执行部分对 CPU 的依赖。识别此类问题的存在和根源可能非常困难，并且通常需要使用专用的性能分析器。在这篇文章[1]中，我们将分享一些在使用 PyTorch Profiler 和 PyTorch Profiler TensorBoard 插件时识别此类性能问题的技巧。
选自GitHub 作者：eriklindernoren 机器之心编译 参与：刘晓坤、思源、李泽南 生成对抗网络一直是非常美妙且高效的方法，自 14 年 Ian Goodfellow 等人提出第一个生成对抗网络以来，各种变体和修正版如雨后春笋般出现，它们都有各自的特性和对应的优势。本文介绍了主流的生成对抗网络及其对应的 PyTorch 和 Keras 实现代码，希望对各位读者在 GAN 上的理解与实现有所帮助。 PyTorch 实现地址：https://github.com/eriklindernoren/
PyTorch 1.6 nightly增加了一个子模块 amp ，支持自动混合精度训练。值得期待。来看看性能如何，相比Nvidia Apex 有哪些优势？
本文为雷锋字幕组编译的技术博客，原标题 The 5 Deep Learning Frameworks Every Serious Machine Learner Should Be Familiar With，作者为James Le。
这篇文章将讨论机器学习的一大基本算法：线性回归。我们将创建一个模型，使其能根据一个区域的平均温度、降雨量和湿度（输入变量或特征）预测苹果和橙子的作物产量（目标变量）。训练数据如下：
首先，它把研究代码与工程代码相分离，还将PyTorch代码结构化，更加直观的展现数据操作过程。
对于PyTorch开发者来说，Google Colab上的TPU资源不能用，恐怕是最遗憾的事情了。Google的云计算资源眼看着不能用，转TensorFlow又是不可能的。
原标题 | An Easy Introduction to Generative Adversarial Networks in Deep Learning 作 者 | George Seif 翻 译 | 大朋哥 审 校 | 鸢尾、唐里、Pita 注：敬请点击文末【阅读原文】访问文中相关链接，PC查看体验更佳。
生成对抗网络（GANshttps://en.wikipedia.org/wiki/Generative_adversarial_network）是一类具有基于网络本身即可以生成数据能力的神经网络结构。由于GANs的强大能力，在深度学习领域里对它们的研究是一个非常热门的话题。在过去很短的几年里，它们已经从产生模糊数字成长到创造如真实人像般逼真的图像。
深度学习是机器学习的一个分支，其中编写了模仿人脑功能的算法。深度学习中最常用的库是 Tensorflow 和 PyTorch。由于有各种可用的深度学习框架，人们可能想知道何时使用 PyTorch。以下是人们可能更喜欢将 Pytorch 用于特定任务的原因。
损失函数是机器学习里最基础也是最为关键的一个要素，其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数，通过引入鲁棒性作为连续参数，该损失函数可以使围绕最小化损失的算法得以推广，其中损失的鲁棒性在训练过程中自动自我适应，从而提高了基于学习任务的性能。
如果你打算入门这风行一世的深度学习领域，这篇文章应该在合适不过了，本文协助你在2分钟内开始使用python PyTorch和用python编写的代码。对于那些不知道PyTorch是什么的人来说，它是一个来自Facebook的开源深度学习平台，提供了从研究原型到生产部署的无缝路径。
最近在学习Pytorch，对于每个部分有大致了解，但没有整体的逻辑框架，这篇文章虽然是翻译的，但有条理的带大家认识了Pytorch构建模型并进行训练的一般步骤和流程，一步一步的将用Numpy搭建的逻辑回归模型来通过Pytorch进行高效实现并训练，其中不乏介绍一些基本模块，比如数据加载器，模型构建基类，优化器等知识，值得一看。
虽然这是一个非官方的 指南，但本文总结了一年多使用 PyTorch 框架的经验，尤其是用它开发深度学习相关工作的最优解决方案。请注意，我们分享的经验大多是从研究和实践角度出发的。
近期的一份调查报告显示：PyTorch 已经力压 TensorFlow 成为各大顶会的主流深度学习框架。想发论文，不学 PyTorch 怎么行？那么，入门 PyTorch 深度学习需要多久？PyTorch 的一份官方教程表示：只需要 60 分钟。
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
在上一篇“深度学习 (DeepLearning) 基础 [1]---监督学习和无监督学习”中我们介绍了监督学习和无监督学习相关概念。本文主要介绍神经网络常用的损失函数。
如果是深度学习和神经网络的新手，那么一定遇到过“ TensorFlow ”和“ PyTorch ” 这两个术语。这是在数据科学领域中使用的两个流行的深度学习框架。
autograd 包是 PyTorch 中所有神经网络的核心。首先让我们简要地介绍它，然后我们将会去训练我们的第一个神经网络。该 autograd 软件包为 Tensors 上的所有操作提供自动微分。它是一个由运行定义的框架，这意味着以代码运行方式定义你的后向传播，并且每次迭代都可以不同。我们从 tensor 和 gradients 来举一些例子。
我们在 Meta AI Research 和 FAIR 的团队开发了一个称为 SAM 的分割基础模型，其中包括一个可提示的分割任务、一个分割模型和一个数据引擎。 我们的数据集拥有超过 10 亿个masks和 1100 万张图像。
PyTorch是一个流行的深度学习框架，提供了用于分布式训练的torch.nn.distributed 包。然而，有时你可能会遇到一些错误信息，例如 "Distributed package doesn't have NCCL built-in"。那么，我们该如何解决这个问题呢？
自 2017 年 1 月 PyTorch 推出以来，其热度持续上升，一度有赶超 TensorFlow 的趋势。PyTorch 能在短时间内被众多研究人员和工程师接受并推崇是因为其有着诸多优点，如采用 Python 语言、动态图机制、网络构建灵活以及拥有强大的社群等。因此，走上学习 PyTorch 的道路已刻不容缓。
虽然这是一个非官方的 PyTorch 指南，但本文总结了一年多使用 PyTorch 框架的经验，尤其是用它开发深度学习相关工作的最优解决方案。请注意，我们分享的经验大多是从研究和实践角度出发的。
紧接着 TensorFlow 更新到 2.1 版之后，PyTorch 在今天也更新到了 1.4 版本。
原标题 | An Easy Introduction to Generative Adversarial Networks in Deep Learning
1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异
很早就想学习深度学习了，因为平时都是自学，业余时间也有限，看过几个pyTorch的入门，都是一些碎片化的东西，始终串不起来。最近也是正好赶的疫情，出差少了，也是在B站看pyTorch视频时有评论说刘二大人的《pyTorch深度学习实践》讲的好，整个教程看下来后，确实是深入浅出，感觉就是宛然打通自己任督二脉，算是入门了。
在使用PyTorch进行深度学习模型训练的过程中，你可能会遇到一个错误消息："element 0 of tensors does not require grad and does not have a grad_fn"（张量的第0个元素不需要梯度且没有梯度计算函数）。这个错误通常与梯度计算和自动求导相关，本篇文章将详细解释该错误的原因，并给出解决方法。
【磐创AI导读】：本篇文章为大家介绍了深度学习框架Keras与Pytorch对比，希望对大家有所帮助。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
PyTorch 2.0 发布也有一段时间了，大家是不是已经开始用了呢？ PyTorch 2.0 通过引入 torch.compile，可以显着提高训练和推理速度。 与 eagerly 模式相反，编译 API 将模型转换为中间计算图（FX graph），然后以某种方式将其编译为低级计算内核，这样可以提高运行速度。
自从学习了深度学习之后，你应该发现了需要学习的东西很多，并且差不多已经开始从零学习了使用 Python 和 NumPy 实现深度学习算法，这样很好，因为理解这些深度学习算法实际上到底是在做什么。但你会发现，除非应用更复杂的模型，例如卷积神经网络，或者循环神经网络，或者开始应用很大的模型，否则它就越来越不实用了，至少对大多数人而言，从零开始全部靠自己实现并不现实，尤其是做项目或者做课题等等。
训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：
Flash 是基于PyTorch Lightning的快速原型任务，基线和微调可扩展深度学习模型的集合。它提供从基准实验到最新研究的无缝体验。它使用户能够构建模型而不会被所有细节所吓倒，并且可以通过Lightning灵活地进行试验以获得完整的多功能性。
上一篇学习笔记介绍了不使用pytorch包装好的神经网络框架实现logistic回归模型，并且根据autograd实现了神经网络参数更新。
原标题 | Starter Pack for Deep Learning Projects in PyTorch — for Extreme Beginners — by a beginner!
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
