从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。
矩阵乘法（matmul），是机器学习中非常重要的运算，特别是在神经网络中扮演着关键角色。
导读 本文讨论了最新爆款论文(Training RNNs as Fast as CNNs)提出的LSTM变种SRU(Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测试了准确性以及与LSTM、CNN的速度对比。 一.为什么要提出SRU？ 深度学习的许多进展目前很多均是来源于增加的模型能力以及相关的计算，这经常涉及到更大、更深的深层神经网络，然而，虽然深层神经网络带来了明显的提升，但是也耗费了巨大的训练时间，特别是在语音识别以及机器翻译的模型训练
上篇文章 flash-linear-attention中的Chunkwise并行算法的理解 根据GLA Transformer Paper（https://arxiv.org/pdf/2312.06635 作者是这位大佬 @sonta）通过对Linear Attention的完全并行和RNN以及Chunkwise形式的介绍理解了Linear Attention的Chunkwise并行算法的原理。但是paper还没有读完，后续在paper里面提出了Gated Linear Attention Transformer，它正是基于Chunkwise Linear Attention的思想来做的，不过仍有很多的工程细节需要明了。这篇文章就来继续阅读一下paper剩下的部分，把握下GLA的计算流程以及PyTorch实现。下面对Paper的第三节和第四节进行理解，由于个人感觉Paper公式有点多，所以并没有对paper进行大量直接翻译，更多的是读了一些部分之后直接大白话一点写一下我对各个部分的理解和总结。这样可能会忽略一些细节，建议读者结合原Paper阅读。
Pytorch添加的一个新特性是更好地支持带有TorchScript (PyTorch JIT)的快速自定义递归神经网络(fastrnns)。
本文为PyTorch Fundamentals[1]的学习笔记，对原文进行了翻译和编辑，本系列课程介绍和目录在《使用PyTorch进行深度学习系列》课程介绍[2]。 文章将最先在我的博客[3]发布，其他平台因为限制不能实时修改。 在微信公众号内无法嵌入超链接，可以点击底部阅读原文[4]获得更好的阅读体验。
这一课主要是讲解PyTorch中的一些运算，加减乘除这些，当然还有矩阵的乘法这些。这一课内容不多，作为一个知识储备。在后续的内容中，有用PyTorch来获取EfficientNet预训练模型以及一个猫狗分类的实战任务教学，EfficientNet是13课，猫狗分类是14课，11课是MobileNet详解和PyTorch代码解析，12课是SENet详解和PyTorch代码解析（因为EfficientNet是基于这两个网络构成的）。再往后我计划整理一些这两年比较优秀的论文和代码，一些提升准确率的有效的技巧等，当然PyTorch的各种优化器我还没有细讲（不过一般都是SGDM了）。
如果能以 3D 方式展示矩阵乘法的执行过程，当年学习矩阵乘法时也就不会那么吃力了。
NHWC和NCHW是卷积神经网络(cnn)中广泛使用的数据格式。它们决定了多维数据，如图像、点云或特征图如何存储在内存中。
gpu对于机器学习是必不可少的。可以通过AWS或谷歌cloud轻松地启动这些机器的集群。NVIDIA拥有业内领先的GPU，其张量核心为 V100和 A100加速哪种方法最适合你的神经网络?为了以最低的
能够以准确有效的方式构建神经网络是招聘人员在深度学习工程师中最受追捧的技能之一。PyTorch 是一个 主要用于深度学习的Python 库。PyTorch 最基本也是最重要的部分之一是创建张量，张量是数字、向量、矩阵或任何 n 维数组。在构建神经网络时为了降低计算速度必须避免使用显式循环，我们可以使用矢量化操作来避免这种循环。在构建神经网络时，足够快地计算矩阵运算的能力至关重要。
在使用Pytorch时你或多或少会遇到各种bug，为了缓解你的痛苦😢，本文将对常见的错误进行解释，并说清楚来龙去脉。 细节就是魔鬼，虽然代码不报错但还是可能会对精度带来影响。如果本文对你有帮助，请收藏&转发！ CrossEntropyLoss和NLLLoss 最常见的错误是损失函数和输出激活函数之间的不匹配。nn.CrossEntropyLossPyTorch中的损失模块执行两个操作：nn.LogSoftmax和nn.NLLLoss。 因此nn.CrossEntropyLossPyTorch的输入应该是
卷积神经网络（CNN）在计算机视觉任务中有着广泛的应用，然而它的运算量非常巨大，这使得我们很难将CNN直接运用到计算资源受限的移动设备上。为了减少CNN的计算代价，许多模型压缩和加速的方法被提出。
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
---- 点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 新智元 授权 【导读】世上没有免费的午餐，享受了通用框架的便利，在特定任务上就要牺牲性能。最近Julia开源了一个新框架SimpleChain，在小型神经网络的运行速度上比PyTorch至少快5倍！ Julia从一出生开始，就瞄准了科学计算领域，并且一直在与Python暗中较量。 在神经网络的框架上，Python有PyTorch和TensorFlow，几乎是深度学习开发的首选框架，并且获得了Meta和Google在技术和资金上的支持，蓬勃发
---- 新智元报道 编辑：LRS 【新智元导读】世上没有免费的午餐，享受了通用框架的便利，在特定任务上就要牺牲性能。最近Julia开源了一个新框架SimpleChain，在小型神经网络的运行速度上比PyTorch至少快5倍！ Julia从一出生开始，就瞄准了科学计算领域，并且一直在与Python暗中较量。 在神经网络的框架上，Python有PyTorch和TensorFlow，几乎是深度学习开发的首选框架，并且获得了Meta和Google在技术和资金上的支持，蓬勃发展。 虽然Julia也有Flu
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一个并行计算平台和应用编程接口（API）模型。它允许开发者使用NVIDIA的GPU进行高效的并行计算，从而加速计算密集型任务。在这一节中，我们将详细探讨CUDA的定义和其演进过程，重点关注其关键的技术更新和里程碑。
前文介绍了根据传入参数的张量维度决定其实现功能的 torch.matmul 函数。torch.matmul 函数功能强大，虽然可以使用其重载的运算符 @，但是使用起来比较麻烦，并且在实际使用场景中，常用的矩阵乘积运算就那么几种。为了方便使用这些常用的矩阵乘积运算，PyTorch 提供了一些更为方便的函数。
tensor(张量)是PyTorch中最基本的数据形式。 在PyTorch中，使用torch.Tensor类表示。
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注！
【导读】einsum 全称 Einstein summation convention（爱因斯坦求和约定），又称为爱因斯坦标记法，是爱因斯坦 1916 年提出的一种标记约定，本文主要介绍了einsum 的应用。
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！
机器之心专栏 机器之心编辑部 Transformer 已经成为众多 NLP 任务以及部分 CV 任务的主流模型，但由于硬件资源匮乏，很多高校实验室或者公司都无法训练很大的模型，而降低批处理大小等措施又会导致训练时间成倍增加。针对这一痛点，字节跳动推出了 LightSeq 训练加速引擎，对 Transformer 训练的整个计算过程进行了优化，最多可以实现 3 倍以上的加速。 如今，NLP 和 CV 领域的大部分任务都将 Transformer 作为基础模型。而早在 2019 年 12 月，字节跳动就开源过
---- 新智元报道 编辑：LRS 【新智元导读】你的batch size是多少？最近有大佬做实验表示没必要非得2次方，训练速度影响微乎其微，但评论区却吵翻天了！ 你有没有疑惑过，为啥batch size都是2的幂数？ 有人觉得是「习惯」，也有人说这算是一种约定俗成的标准，因为从「计算」的角度来看，batch size为2的幂数有助于提高训练效率。 但计算机科学就是一门实践的学科，理论再完美也需要实验结果来验证。 最近一位AI研究者Sebastian动手试了一下所有的batch size，结果发
作者：Sebastian Raschka 机器之心编译 编辑：泽南 有关 batch size 的设置范围，其实不必那么拘谨。 我们知道，batch size 决定了深度学习训练过程中，完成每个 epoch 所需的时间和每次迭代（iteration）之间梯度的平滑程度。batch size 越大，训练速度则越快，内存占用更大，但收敛变慢。 又有一些理论说，GPU 对 2 的幂次的 batch 可以发挥更好性能，因此设置成 16、32、64、128 … 时，往往要比设置为其他倍数时表现更优。 后者是否是一种玄
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 有关 batch size 的设置范围，其实不必那么拘谨。 我们知道，batch size 决定了深度学习训练过程中，完成每个 epoch 所需的时间和每次迭代（iteration）之间梯度的平滑程度。batch size 越大，训练速度则越快，内存占用更大，但收敛变慢。 又有一些理论说，GPU 对 2 的幂次的 batch 可以发挥更好性能，因此设置成 16、32、64、128 … 时，往往要比设置为其他倍数时表现更优。 后者是否是一种
爱因斯坦求和约定（einsum）提供了一套既简洁又优雅的规则，可实现包括但不限于：向量内积，向量外积，矩阵乘法，转置和张量收缩（tensor contraction）等张量操作，熟练运用 einsum 可以很方便的实现复杂的张量操作，而且不容易出错。
这篇文章来解析一下Megaton-LM涉及到的一个优化gradient_accumulation_fusion。这里fusion的意思是在gemm接口中会将当前的结果累加到先前计算的梯度上，所有这些都在一个操作中完成，可以避免多次访问global memory提升算子的带宽。下面解析一下这个优化的调度逻辑和cuda实现。
疫情在家的这段时间，想系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实，对 Pytorch 的使用依然是模模糊糊， 跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来， 学习知识，知其然，知其所以然才更有意思 ;)」。
分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。
在各种视觉应用中，自注意力已经成为捕获全局上下文的一种事实上的选择。然而，它在图像分辨率方面的二次计算复杂性限制了它在实时应用程序中的使用，特别是在资源受限的移动设备上的部署。虽然已经提出了混合方法来结合卷积和自注意的优点，以获得更好的速度和精度权衡，但自注意中昂贵的矩阵乘法运算仍然是一个瓶颈。
【GiantPandaCV导语】使用和魔改TVM也有一段时间了，其实很多场景下，都是拿到pytorch的model，然后转成torchscript，通过relay.frontend.from_pytorch导入，然后一步一步在NVIDIA GPU上generate出网络中每个op对应的cuda code。但是，当我们的场景不在局限在神经网络的时候，比如一些由tensor构成的密集计算，就得需要通过tvm的 primitives，也即DSL来定义算法，然后通过AutoTVM或者Ansor来解决问题，当然如果要使用Ansor的话，你只需要定义好algorithm是什么样的，schedule的部分会帮你自动做，当然，如果你想得到一个custom-level的schedule，你不能完全指望Ansor能给你带来所有，所以关于tvm primitives的学习还是非常重要的。 TVM的设计思想是将“compute”和“schedule”进行decouple，那么这一片文章就将所有compute有关的primitives进行总结，下一篇将对schedule有关的primitives进行总结。
不仅如此，和其它pytorch中的函数一样，torch.einsum是支持求导和反向传播的，并且计算效率非常高。
写深度学习网络代码，最大的挑战之一，尤其对新手来说，就是把所有的张量维度正确对齐。如果以前就有 TensorSensor 这个工具，相信我的头发一定比现在更浓密茂盛！
本章开始了一段旅程，我们将深入研究我们在前几章中使用的模型的内部。我们将涵盖许多我们以前见过的相同内容，但这一次我们将更加密切地关注实现细节，而不那么密切地关注事物为什么是这样的实际问题。
原标题：PyTorch Callable Neural Networks - Deep earning In Python
张量是深度学习中用于表示数据的核心结构，它可以视为多维数组的泛化形式。在机器学习模型中，张量用于存储和变换数据，是实现复杂算法的基石。本文基于 Pytorch
作者：Jack Chih-Hsu Lin翻译：陈之炎校对：王紫岳 本文约4600字，建议阅读9分钟18个必须知道的PyTorch提速秘籍：工作原理和方法。 调整深度学习管道如同找到合适的齿轮组合（图片来源：Tim Mossholder） 为什么要阅读本博？ 深度学习模型的训练/推理过程涉及到多个步骤。在时间和资源受限的情况下，实验迭代速度越快，越能优化模型的预测性能。本博收集整理了些许能够最大限度提高内存效率以及最小化运行时间的PyTorch的技巧和秘籍。但为了更好地利用这些技巧，我们还需要了解它的工
关注并星标 从此不迷路 计算机视觉研究院 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 计算机视觉研究院专栏 作者：Edison_G 有关 batch size 的设置范围，其实不必那么拘谨。 我们知道，batch size 决定了深度学习训练过程中，完成每个 epoch 所需的时间和每次迭代（iteration）之间梯度的平滑程度。batch size 越大，训练速度则越快，内存占用更大，但收敛变慢。 又有一些理论说，GPU 对 2 的幂次的 batch 可以发挥
选自Medium 作者：Yaroslav Bulatov 机器之心编译 参与：蒋思源 反向传播是当前深度学习主要使用的参数更新方法，因此深度学习的硬件设计也需要拟合这种反向传播的计算结构。本文从反向传播的抽象表达开始简要地分析了 BP 算法和脉动阵列架构（systolic array architecture）之间的相似性，从而表明了脉动阵列架构适合执行 BP 和进行模型训练。 在并行计算的体系架构中，脉动阵列（systolic array）是紧密耦合的数据处理单元（data processing unit
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。
大型语言模型（LLM）的卓越能力近年来产生了重大影响（OpenAI, 2023; Ge等人，2023; Zhao等人，2023）。各种LLM已经被发布并在现实世界的生产环境中得到应用（Eloundou等人，2023）。因此，对于LLM的部署有着广泛的需求。
最后一页没画，但是基本上就是Filter Matrix乘以Feature Matrix的转置，得到输出矩阵Cout x (H x W)，就可以解释为输出的三维Blob（Cout x H x W）。
pytorch 和tensorflow 中最重要的概念就是tensor了，tensorflow 这个框架的名字中很直白，就是tensor的流动，所以学习深度学习的第一课就是得搞懂tensor到底是个什么东西了，今天就来学习下，OK，起飞
在深度学习方面，TensorFlow 和 PyTorch是绝对的王者。但是，但除了这两个框架之外，一些新生的框架也不容小觑，比如谷歌推出的 JAX深度学习框架。
来源：深度学习基础与进阶本文约6500字，建议阅读13分钟本文将流行的图神经网络及其数学细微差别的进行详细的梳理和解释。 图深度学习(Graph Deep Learning) 多年来一直在加速发展。许多现实生活问题使GDL成为万能工具：在社交媒体、药物发现、芯片植入、预测、生物信息学等方面都显示出了很大的前景。 本文将流行的图神经网络及其数学细微差别的进行详细的梳理和解释，图深度学习背后的思想是学习具有节点和边的图的结构和空间特征，这些节点和边表示实体及其交互。 图 在我们进入图神经网络之前，让我们先
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
