在使用Pytorch时你或多或少会遇到各种bug，为了缓解你的痛苦😢，本文将对常见的错误进行解释，并说清楚来龙去脉。 细节就是魔鬼，虽然代码不报错但还是可能会对精度带来影响。如果本文对你有帮助，请收藏&转发！ CrossEntropyLoss和NLLLoss 最常见的错误是损失函数和输出激活函数之间的不匹配。nn.CrossEntropyLossPyTorch中的损失模块执行两个操作：nn.LogSoftmax和nn.NLLLoss。 因此nn.CrossEntropyLossPyTorch的输入应该是
【磐创AI 导读】：查看关于本专栏历史文章，请点击文末[阅读全文]。查看本章历史文章，请点击下方蓝色字体进入相应链接阅读。
本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。
李林 编译整理 量子位 报道 | 公众号 QbitAI Facebook的机器学习框架（之一）PyTorch今天发布了新版本：0.2.0。 这一版本引入了NumPy风格的Broadcasting、Advanced Indexing，增加了高阶梯度和分布式PyTorch。 PyTorch的GitHub新版发布说明中介绍了0.2版的以下新特性： NumPy风格的Tensor Broadcasting Broadcasting是NumPy在算数运算中处理不同形状数组的一种方式，在特定条件下，比较小的数组会通过比较
编者按：自2017年提出以来，Transformer在众多自然语言处理问题中取得了非常好的效果。它不但训练速度更快，而且更适合建模长距离依赖关系，因此大有取代循环或卷积神经网络，一统自然语言处理的深度模型江湖之势。我们（赛尔公众号）曾于去年底翻译了哈佛大学Alexander Rush教授撰写的《Transformer注解及PyTorch实现》一文，并获得了广泛关注。近期，来自荷兰阿姆斯特丹大学的Peter Bloem博士发表博文，从零基础开始，深入浅出的介绍了Transformer模型，并配以PyTorch的代码实现。我非常喜欢其中对Self-attention（Transformer的核心组件）工作基本原理进行解释的例子。此外，该文还介绍了最新的Transformer-XL、Sparse Transformer等模型，以及基于Transformer的BERT和GPT-2等预训练模型。我们将其翻译为中文，希望能帮助各位对Transformer感兴趣，并想了解其最新进展的读者。
文章节选自《深度学习入门之PyTorch》 欢迎留言！ 对于人类而言，以前见过的事物会在脑海里面留下记忆，虽然随后记忆会慢慢消 失，但是每当经过提醒，人们往往能够重拾记忆。在神经网络的研究中，让模型充满记忆力的研究很早便开始了，Saratha Sathasivam 于1982 年提出了霍普菲尔德网络，但是由于它实现困难，在提出的时候也没有很好的应用场景，所以逐渐被遗忘。 深度学习的兴起又让人们重新开始研究循环神经网络（Recurrent Neural Network），并在序列问题和自然语言处理等领域取得很
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的PyTorch小试牛刀。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。想要更多电子杂志的机器学习，深度学习资源，大家欢迎点击上方蓝字关注我们的公众号：磐创AI。
本文通过详细且实践性的方式介绍了 PyTorch 的使用，包括环境安装、基础知识、张量操作、自动求导机制、神经网络创建、数据处理、模型训练、测试以及模型的保存和加载。
注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。注意力机制本质上与人类对外界事物的观察机制相似。通常来说，人们在观察外界事物的时候，首先会比较关注比较倾向于观察事物某些重要的局部信息，然后再把不同区域的信息组合起来，从而形成一个对被观察事物的整体印象。
机器之心整理 参与：蒋思源 MILA 实验室近日在 GitHub 上开启了一个初学者入门项目，旨在帮助 MILA 新生快速掌握机器学习相关的实践基础。目前该项目已经提供了一系列的 PyTorch 入门资料，并从张量、自动微分、图像识别、神经机器翻译和生成对抗网络等方面详细阐述。 项目地址：https://github.com/mila-udem/welcome_tutorials PyTorch 是 Torch 在 Python 上的衍生，它本质上是 Numpy 的替代者，而且支持 GPU 加速深度神经网
我总是使用最先进的架构来在一些比赛提交模型结果。得益于PyTorch、Keras和TensorFlow等深度学习框架，实现最先进的体系结构变得非常容易。这些框架提供了一种简单的方法来实现复杂的模型体系结构和算法，而只需要很少的概念知识和代码技能。简而言之，它们是数据科学社区的一座金矿!
torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。
在自然语言处理（NLP，Natural Language Processing）领域，“词”构成了语言的基础单位。与此同时，它们也是构建高级语义和语法结构的基石。在解决各种NLP问题，如机器翻译、情感分析、问答系统等方面，对“词”的全面了解不仅有助于我们设计更高效的算法，还能加深我们对语言本质的认识。
Chris Olah's LSTM post Edwin Chen's LSTM post Andrej Karpathy's lecture on RNNs and LSTMs from CS231n
本文是本人所写的NLP基础任务——文本分类的【深入TextCNN】系列文章之一。【深入TextCNN】系列文章是结合PyTorch对TextCNN从理论到实战的详细教程。
如果你用过 PyTorch 进行深度学习研究和实验的话，你可能经历过欣喜愉悦、能量爆棚的体验，甚至有点像是走在阳光下，感觉生活竟然如此美好 。但是直到你试着用 PyTorch 实现可变大小的 mini-batch RNNs 的时候，瞬间一切又回到了解放前。
文本分类作为人工智能领域的一个重要分支，其价值和影响力已经深入到我们日常生活的各个角落。在这个数据驱动的时代，文本分类不仅是机器学习和深度学习技术的集中展示，更是智能化应用的基础。
本文介绍了利用Pytorch框架实现文本分类的关键知识点，包括使用如何处理Out of Vocabulary words，如何解决变长序列的训练问题，举出了具体实例。
原文：https://github.com/vahidk/EffectivePyTorch
PyTorch 作为 Facebook 开发和维护的一个开源框架，近来的发展势头相当强劲。自 2017 年初首发以来，PyTorch 灵活、动态的编程环境及对用户友好的界面使其非常适用于快速实验，因此在社区内迅速发展壮大。
对于图神经网络来说，最常见和被广泛使用的任务之一就是节点分类。 图数据中的训练、验证和测试集中的每个节点都具有从一组预定义的类别中分配的一个类别，即正确的标注。 节点回归任务也类似，训练、验证和测试集中的每个节点都被标注了一个正确的数字。
机器学习通过使计算机能够从数据学习和做出预测来彻底改变了人工智能领域。机器学习的一个关键方面是数据的表示，因为表示形式的选择极大地影响了算法的性能和有效性。嵌入已成为机器学习中的一种强大技术，提供了一种捕获和编码数据点之间复杂关系的方法。本文[1]探讨了嵌入的概念，其意义及其在各个领域的应用。
Keras 和 PyTorch 当然是对初学者最友好的深度学习框架，它们用起来就像描述架构的简单语言一样，告诉框架哪一层该用什么。这样减少了很多抽象工作，例如设计静态计算图、分别定义各张量的维度与内容等等。
【新智元导读】PyTorch 发布了最新版，API 有一些变动，增加了一系列新的特征，多项运算或加载速度提升，而且修改了大量bug。官方文档也提供了一些示例。 API 改变 torch.range 已被弃用，取代的是 torch.arange，这与 numpy 和 python 范围一致。 在稀疏张量上，contiguous 被重命名为 coalesce，coalesce 已经不合适。（注意 Sparse API 仍然是实验性而且在演变中，所以我们不提供向后兼容性）。 新的特征 新的层和函数 torch.t
在使用pytorch进行深度学习任务时，经常会用到view()函数来改变张量的形状(shape)。然而，在使用view()函数时，有时候可能会遇到以下错误信息：
今年初，Facebook 推出了 PyTorch 1.0，该框架集成了谷歌云、AWS 和 Azure 机器学习。学习本教程之前，你需要很熟悉 Scikit-learn，Pandas，NumPy 和 SciPy。这些程序包是使用本教程的重要先决条件。
当然在 PyTorch 中，转换函数的主要意义主要是用于对进行数据的预处理和数据增强，使其适用于深度学习模型的训练和推理。
当我们在使用深度学习框架（如PyTorch或TensorFlow）时，经常会遇到各种错误信息。其中一个常见的错误是"invalid argument 0: Sizes of tensors must match except in dimension 0"。这个错误表示张量的尺寸不匹配，除了第0维之外。 出现这个错误的原因通常是因为我们在进行张量操作时，尺寸不一致导致的。下面我们将介绍一些解决这个问题的方法。
现在来解释一下，为什么 num_heads 的值需要能够被 embed_dim 整除。这是为了把词的隐向量长度平分到每一组，这样多组注意力也能够放到一个矩阵里，从而并行计算多头注意力。
2015 NIPS（NeurIPS，神经信息处理系统大会，人工智能领域的 A 类会议）论文
ruder.io](http://ruder.io/deep-learning-optimization-2017/index.html?source=post_page-----de70d626976c--------------------------------)
本文经AI开发者（ID: okweiwu, 社区地址: https://ai.yanxishe.com）
这些天无论是还是私信，很多人希望看到更多关于深度学习基础内容，这篇文章想要分享的是关于pytorch的转换函数。
1. 数据格式转换: 将不同格式的数据(如PIL图像、NumPy数组)转换为PyTorch张量,以便能够被深度学习模型处理。例如,transforms.ToTensor() 将图像转换为张量。
我读过的最精彩、解释最清楚的文章之一是「The Annotated Transformer」https://nlp.seas.harvard.edu/2018/04/03/attention.html 。它引起了前所未有的关注，一个简单的想法就是用一个文件注释你所需要的代码。
本文介绍了torchlayers。torchlayers 旨在做Keras为TensorFlow所做的事情，它提供了更高级的模型构建的API和一些方便的默认值以及附加功能，这些功能对构建PyTorch神经网络很有用。
翻译 | 林椿眄 出品 | AI 科技大本营（公众号ID：rgznai100） 一些你可能不知道的优质公众号！ 这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。 ▌目录 主要变化 张量/变量合并 零维张量 数据类型 版本迁移指南 新特性 张量 高级的索引功能 快速傅里叶变换 神经网络 权衡内存计算 瓶颈—用于识别代码热点的工具 torch中的分布 2
这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张量变量合并，支持 CuDNN 7.1，加快分布式计算等，并修复部分重要 bug等。
到目前为止，我们已经仔细研究了线性模型如何学习以及如何在 PyTorch 中实现这一点。我们专注于一个非常简单的回归问题，使用了一个只有一个输入和一个输出的线性模型。这样一个简单的例子使我们能够剖析一个学习模型的机制，而不会过于分散注意力于模型本身的实现。正如我们在第五章概述图中看到的，图 5.2（这里重复为图 6.1），了解训练模型的高级过程并不需要模型的确切细节。通过将错误反向传播到参数，然后通过对损失的梯度更新这些参数，无论底层模型是什么，这个过程都是相同的。
注意力机制是近年来研究的热点之一。之前的许多研究都关注于通过注意力操作捕捉显著特征。这些方法成功地利用了特征不同维度上的相互信息。然而，它们缺乏对权重的影响因素的考虑，进而进一步抑制不显著的通道或像素。
在深度学习中，注意力机制（Attention Mechanism）被广泛应用于各种任务，如自然语言处理、计算机视觉等。PyTorch作为一个流行的深度学习框架，提供了丰富的工具和库，方便我们实现和使用注意力模型。在本篇技术博客中，我们将介绍PyTorch中的注意力机制及其使用方法。
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
来源：Deephub Imba 本文约2500字，建议阅读10分钟 本文中为你详细介绍两种创建嵌入提取器的方法。 对于图像生成方向目前通常使用的方法是生成对抗网络或扩散模型。尽管这两种方法有的不同的特点，但是他们的一个共同点是模型训练对机器资源的要求很高，如果我们要以一种全新的风格创建一个图像，模型将需要从头开始训练，这可能需要更多的时间和资源，例如比较熟悉的StyleGan[3]是在拥有8个Tesla V100 gpu的NVIDIA DGX-1上训练了大约一周的时间。 但是，如果我们没有这样的硬件资源
深度学习是机器学习父领域中的一个子领域，它是受大脑工作启发的一类算法的研究和应用。 给定足够的数据并通过它进行迭代，这些算法可以近似于描述数据的任何函数，并且正确地称为通用函数近似器。 那么 PyTorch 进入这个生态系统的位置是什么？
对于图像生成方向目前通常使用的方法是生成对抗网络或扩散模型。尽管这两种方法有的不同的特点，但是他们的一个共同点是模型训练对机器资源的要求很高，如果我们要以一种全新的风格创建一个图像，模型将需要从头开始训练，这可能需要更多的时间和资源，例如比较熟悉的StyleGan[3]是在拥有8个Tesla V100 gpu的NVIDIA DGX-1上训练了大约一周的时间。
近日，PyTorch 社区又添入了「新」工具，包括了更新后的 PyTorch 1.2，torchvision 0.4，torchaudio 0.3 和 torchtext 0.4。每项工具都进行了新的优化与改进，兼容性更强，使用起来也更加便捷。PyTorch 发布了相关文章介绍了每个工具的更新细节，AI 开发者将其整理与编译如下。
领取专属 10元无门槛券
手把手带您无忧上云
