选自timdettmers.com 作者：Tim Dettmers 机器之心编译 编辑：泽南 FP8 训练带来的速度提升可能要一统 AI 领域，但这是我要考虑的问题吗？ 深度学习对于算力的要求很高，对于个人来说，GPU 的选择很大程度上决定了你的工作、学习体验。显卡既贵又复杂，如果想购买新的 GPU，哪些功能最重要？内存、核心、Tensor Core 还是缓存？如何做出性价比高的选择？每出一代新 GPU 这些问题就要重新审视一番。 近日，华盛顿大学在读博士 Tim Dettmers 通过一篇长文在 RTX
来源丨https://zhuanlan.zhihu.com/p/645376942
近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。
项目负责人Philippe Tillet表示：「我们的目标是让Triton成为深度学习中CUDA的替代品」。
过去十年中，深度神经网络 (DNN) 已成为最重要的机器学习模型之一，创造了从自然语言处理到计算机视觉、计算神经科学等许多领域的 SOTA 实现。DNN 模型的优势来自于它的层次结构，这一特征导致其计算量巨大，但也会产生大量高度并行化的工作，特别适合多核和众核处理器。
机器之心报道 编辑：蛋酱、陈萍 OpenAI 开源了全新的 GPU 编程语言 Triton，它能成为 CUDA 的替代品吗？ 过去十年中，深度神经网络 (DNN) 已成为最重要的机器学习模型之一，创造了从自然语言处理到计算机视觉、计算神经科学等许多领域的 SOTA 实现。DNN 模型的优势来自于它的层次结构，这一特征导致其计算量巨大，但也会产生大量高度并行化的工作，特别适合多核和众核处理器。 深度学习领域的新研究思路往往是结合原生框架 operator 来实现的，这种方法虽然方便，但需要创建或移动许多临时张
GPU的内存结构如图所示：GPU的计算核心都在Streaming Multiprocessor（SM）上，SM里有计算核心可直接访问的寄存器（Register）和共享内存（Shared Memory）；多个SM可以读取显卡上的显存，包括全局内存（Global Memory）。
在从事深度学习框架的实现工作时，了解到 Nervana 有一个称为 Maxas 的汇编代码生成器项目，可以生成性能超过 nVidia 官方版本的矩阵相乘的 GPU 机器码，由此对其工作原理产生兴趣。
---- 新智元报道 编辑：LRS 【新智元导读】了解事物的底层逻辑才能更好地解决问题。康奈尔大学AI联合创始人最近发了一篇文章，从第一原理出发，深度剖析深度学习性能瓶颈的三座大山：计算、内存和开销。 如果想提升模型的性能，你的第一直觉是问搜索引擎吗？ 通常情况下你得到的建议只能是一些技巧性的操作，比如使用in-place operation，把梯度设置为None，或者是把PyTorch版本从1.10.1退回到稳定版1.10.0等等。 这些临时找到的骚操作虽然可以一时地解决当下问题，但要是用了以后
基于安培体系结构的NVIDIA A100 GPU是为了从其许多新的体系结构特征和优化中提供尽可能多的AI和HPC计算能力而设计的。在台积电7nm N7 FinFET制造工艺上，A100提供了比Tesla V100中使用的12nm FFN工艺更高的晶体管密度、更好的性能和更好的功率效率。一种新的Multi-Instance GPU(MIG)能为多租户和虚拟化GPU环境提供了增强的客户端/应用程序故障隔离和QoS，这对云服务提供商特别有利。一个更快和更强的错误抗力的第三代NVIDIA的NVLink互连提供了改进的多GPU性能缩放的超尺度数据中心。
阅读完前两篇文章后，相信读者应该能够将一些简单的CPU代码修改成GPU并行代码，但是对计算密集型任务，仅仅使用前文的方法还是远远不够的，GPU的并行计算能力未能充分利用。本文将主要介绍一些常用性能优化的进阶技术，这部分对编程技能和硬件知识都有更高的要求，建议读者先阅读本系列的前两篇文章，甚至阅读英伟达官方的编程手册，熟悉CUDA编程的底层知识。当然，将这些优化技巧应用之后，程序将获得更大的加速比，这对于需要跑数小时甚至数天的程序来说，收益非常之大。
选自semianalysis.com 作者：Dylan Patel 机器之心编译 机器之心编辑部 CUDA 闭源库将和 TensorFlow 一样逐渐式微。 十年来，机器学习软件开发的格局发生了重大变化。许多框架如雨后春笋般涌现，但大多数都严重依赖于英伟达的 CUDA，并在英伟达的 GPU 上才能获得最佳的性能。然而，随着 PyTorch 2.0 和 OpenAI Triton 的到来，英伟达在这一领域的主导地位正在被打破。 谷歌早期在机器学习模型架构、训练、模型优化方面都具有很大优势，但现在却难以充分发挥
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 机器之心 授权 深度学习是门玄学？也不完全是。 每个人都想让模型训练得更快，但是你真的找对方法了吗？在康奈尔大学本科生、曾在 PyTorch 团队实习的 Horace He 看来，这个问题应该分几步解决：首先，你要知道为什么你的训练会慢，也就是说瓶颈在哪儿，其次才是寻找对应的解决办法。在没有了解基本原理（第一性原理）之前就胡乱尝试是一种浪费时间的行为。 在这篇文章中，Horace He 从三个角度分析可能存在的瓶颈：计算、内存带宽和额外开销，并提供了一些
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 用CUDA为GPU编程实在太难了。 为了让没有CUDA编程经验的人写出和专家效率相当的GPU代码，现在OpenAI推出了一种新的语言和编译器——Triton。 它的难度比CUDA低，但是性能却可与之相媲美。 OpenAI声称： Triton只要25行代码，就能在FP16矩阵乘法shang上达到与cuBLAS相当的性能。 OpenAI的研究人员已经使用Triton，来生成比同等Torch效率高出1倍的内核。 Triton项目的负责人Philippe
选自horace博客 作者：Horace He 机器之心编译 编辑：Juniper 深度学习是门玄学？也不完全是。 每个人都想让模型训练得更快，但是你真的找对方法了吗？在康奈尔大学本科生、曾在 PyTorch 团队实习的 Horace He 看来，这个问题应该分几步解决：首先，你要知道为什么你的训练会慢，也就是说瓶颈在哪儿，其次才是寻找对应的解决办法。在没有了解基本原理（第一性原理）之前就胡乱尝试是一种浪费时间的行为。 在这篇文章中，Horace He 从三个角度分析可能存在的瓶颈：计算、内存带宽和额外开销
来源：机器之心本文约5200字，建议阅读10+分钟深度学习是门玄学？也不完全是。 每个人都想让模型训练得更快，但是你真的找对方法了吗？在康奈尔大学本科生、曾在 PyTorch 团队实习的 Horace He 看来，这个问题应该分几步解决：首先，你要知道为什么你的训练会慢，也就是说瓶颈在哪儿，其次才是寻找对应的解决办法。在没有了解基本原理（第一性原理）之前就胡乱尝试是一种浪费时间的行为。 在这篇文章中，Horace He 从三个角度分析可能存在的瓶颈：计算、内存带宽和额外开销，并提供了一些方式去判断当前处于哪
---- 新智元报道 编辑：Joey David 【新智元导读】最近，曾拿到斯坦福、UCL、CMU、NYU博士offer、目前在华盛顿大学读博的知名测评博主Tim Dettmers在自己的网站又上线了深度学习领域的GPU深度测评，到底谁才是性能和性价比之王？ 众所周知，在处理深度学习和神经网络任务时，最好使用GPU而不是CPU来处理，因为在神经网络方面，即使是一个比较低端的GPU，性能也会胜过CPU。 深度学习是一个对计算有着大量需求的领域，从一定程度上来说，GPU的选择将从根本上决定深度学习的体
LAPACK 是用 Fortran 90 编写的，提供用于求解联立线性方程组、线性方程组的最小二乘解、特征值问题和奇异值问题的例程。还提供了相关的矩阵分解（LU、Cholesky、QR、SVD、Schur、广义 Schur），以及相关计算，例如 Schur 分解的重新排序和估计条件数。处理密集矩阵和带状矩阵，但不处理一般稀疏矩阵。在所有领域，都为单精度和双精度实数和复数矩阵提供了类似的功能。
提起矩阵计算，学过《高等数学》的人可能都听过，但若不是这个领域的研究者，恐怕也只停在“听过”的程度。在矩阵计算领域，开源项目OpenBLAS影响巨大，除IBM、华为等巨头公司在使用外，还吸引了全球的研究院校、开发者们关注。 雷锋网 AI 研习社近日有幸邀请到了澎峰科技创始人、OpenBLAS项目创始人和主要维护者张先轶，他将为我们介绍OpenBLAS开源项目以及矩阵乘法的优化。 嘉宾介绍 张先轶，中国科学院博士，MIT博士后，OpenBLAS开源项目创始人和主要维护者，PerfXLab澎峰科技创始人。曾
FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。
在机器学习领域，无论是硬件还是软件，英伟达无疑均拥有巨大优势，后者用 CUDA 建立起了一道软件的护城河。可惜的是，这家公司缺乏远见，未能利用其在机器学习硬软件方面的巨大优势，让自己成为机器学习默认的编译器。而它对可用性与易用性的忽视，让 OpenAI 与 Meta 得以趁虚而入，其主导地位正在被打破。
Alex 发自 凹非寺 量子位 | 公众号 QbitAI 春暖花开，各位深度学习er想不想给自己的“丹炉”升级一波？ “炼丹”爱好者们应该知道，在该领域中，**GPU的总体表现完胜CPU。 那么GPU应该怎么选？不妨来看看这篇超级详尽的“2023版GPU选购指南”。 知名测评博主、华盛顿大学在读博士Tim Dettmers亲测后，写下万字长文，手把手教你Pick性价比最高的显卡，避免踩雷。 △光是目录就有这么长…… 至于谁是性价比之王，不卖关子，这里先放上Tim哥的结论： 对于16位训练过程，RTX 30
2006年，NVIDIA公司发布了CUDA（http://docs.nvidia.com/cuda/），CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。近年来，GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的标配。目前，最新的CUDA版本为CUDA 9。
各种大模型都在用的FlashAttention今天正式发布第2代并开源，所有Transformer架构的模型都可使用它来加速。
如果能以 3D 方式展示矩阵乘法的执行过程，当年学习矩阵乘法时也就不会那么吃力了。
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一个并行计算平台和应用编程接口（API）模型。它允许开发者使用NVIDIA的GPU进行高效的并行计算，从而加速计算密集型任务。在这一节中，我们将详细探讨CUDA的定义和其演进过程，重点关注其关键的技术更新和里程碑。
9. 内存优化 看页数也知道，内存优化是性能提升最重要的途径。目标在于通过最大化带宽获得对硬件的最大使用率。最好使用快速内存而减少慢速内存的访问。这章就是各种讨论内存优化。 9.1. 主机和设备之间的
AI科技评论按：很多读者在思考，“我和AI科技评论的距离在哪里？”答案就是：一封求职信。 5 月 11 日，在加州圣何塞举办的的 2017 年度 GPU 技术大会上，英伟达发布了 Tesla V100
编者按：5 月 11 日，在加州圣何塞举办的 2017 年度 GPU 技术大会上，英伟达发布了 Tesla V100，号称史上最强的 GPU 加速器。发布之后，英伟达第一时间在官方开发者博客放出一篇博
总篇链接：https://laoshifu.blog.csdn.net/article/details/134906408
2023年很多mlsys工作都是基于Triton来完成或者提供了Triton实现版本，比如现在令人熟知的FlashAttention，大模型推理框架lightllm，diffusion第三方加速库stable-fast等灯，以及很多mlsys的paper也开始使用Triton来实现比如最近刚报道的这个新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度。当然笔者由于目前由于工作需要也需要用Triton，所以就有了这系列Triton学习笔记。本篇文章开始入门一下OpenAI的Triton，然后首先是从Triton介绍博客看起，然后对triton官方实现的vector_add和fused_softmax还有Matmul教程做一个阅读，也就是 https://triton-lang.org/main/getting-started/tutorials/ 这里的前三节，熟悉一下triton编写cuda kernel的语法。
AI 科技评论消息，不久前，NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构——Turing（图灵），黄仁勋称Turing架构是自2006年CUDA GPU发明以来最大的飞跃。Turing架构的两大重要特性便是集成了用于光线追踪的RT Core以及用于AI计算的Tensor Core，使其成为了全球首款支持实时光线追踪的GPU。
矩阵乘法加速器，一般至少包括计算单元，缓存（SRAM等构成）和内存（譬如DDR等）。其中缓存的读写速率较高，可以和计算单元的运算速度相匹配，但容量较小；内存的容量相对缓存较大，但读写速率较低。
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者，荣获2021年度AMMA优秀品牌力、优秀洞察力大奖，连续2年被腾讯云+社区评选为“年度最佳作者”。 G-Resarch作为ICML 2022的钻石赞助商，其研究人员和工程师参加了今年在美国巴尔的摩举行的会议。研究人员收集了他们最喜欢的2022年ICML论文并推荐给大家。 首先是来自机器学习工程师Casey Haaland
莱斯大学和英特尔的最新研究证明，无需专门的加速硬件（如GPU），也可以加速深度学习。
矩阵乘法（matmul），是机器学习中非常重要的运算，特别是在神经网络中扮演着关键角色。
---- 新智元报道 编辑：Aeneas David 【新智元导读】为加速矩阵乘法，DeepMind的AlphaTensor都有什么神操作？1小时超长视频，带你读懂这篇Nature封面。由浅入深，全网最细。 DeepMind前不久发在Nature上的论文Discovering faster matrix multiplication algorithms with reinforcement learning引发热议。 这篇论文在德国数学家Volken Strassen「用加法换乘法」思路和算法的
最后一页没画，但是基本上就是Filter Matrix乘以Feature Matrix的转置，得到输出矩阵Cout x (H x W)，就可以解释为输出的三维Blob（Cout x H x W）。
7月5日，2022 CUDA on Arm Platform线上训练营开始第二天的课程。 课程大纲： 1. CUDA编程模型---CUDA存储单元的使用与错误检测（2.1+2.2实验课） 设备初始化 GPU的存储单元 GPU存储单元的分配与释放 数据的传输 数据与线程之间的对应关系 CUDA应用程序运行时的错误检测 CUDA中的事件 利用事件进行计时 实验课内容：编写MatrixMul程序，体验线程和数据的对应关系 留课后作业 2.
在 SciPy 稀疏矩阵中，有着 2 个经常被混为一谈的方法：toarray() 方法以及 todense() 方法。事实上，我在才开始接触 SciPy 稀疏矩阵的时候也曾经把这 2 个方法之间画上等号。但是，两者之间还是存在着很大的不同，具体有哪些不同之处我们就首先从返回值类型开始说明。
Strassen 算法是一种用于矩阵乘法的分治算法，它将原始的矩阵分解为较小的子矩阵，然后使用子矩阵相乘的结果来计算原始矩阵的乘积。
定义矩阵A，B，其中A的大小为a \times b，B的大小为b \times c，对于矩阵C=AB中的每一个元素C(i.j),~i\in [1, a],~j\in [1,c]，存在以下：
本文仅献给需要做GPU超算方案和预算的科研前线的人 同类介绍Tesla V100的技术文章很多，我们只highlight关键几个知识点。 2017年5月GTC 2017大会上，英伟达发布了面向高性能计算的新一代Volta架构加速器，Tesla V100。Tesla V100加速器采用12nm FFN工艺，搭载新款图形处理器GV100，拥有5120 CUDA、640个Tensor内核，分PCle和SXM2两版，双精度浮点运算能力分别可达7 TFLOPS和7.8 TFLOPS，单精度则为14 TFLOPS和15
前面介绍了Im2Col+GEMM来实现卷积以在某些条件下获得更好的访存和计算效率，详见：详解Im2Col+Pack+Sgemm策略更好的优化卷积运算 。然后，最近偶然发现了Im2Col+GEMM的一个改进版本即MEC: Memory-efficient Convolution for Deep Neural Network ,这是发表在ICML 2017的文章，它主要优化了Im2Col+GEMM计算策略中的内存消耗，并且也能提升一点速度，是一个不错的卷积加速算法。所以我在这里结合论文然后复现了一下代码实现来为分享一下。
选自TowardsDataScience 作者：Anuradha Wickramarachchi 机器之心编译 参与：Nurhachu Null 在机器学习中，绝大多数任务会涉及到耗费时间的大量运算，
本文基于阿里推荐 DIN 和 DIEN 代码，梳理了下深度学习一些概念，以及TensorFlow中的相关实现。
在使用CUDA加速库时，特别是在使用CUBLAS库进行GPU加速的线性代数运算时，有时我们可能会遇到CUBLAS_STATUS_NOT_INITIALIZED错误。这个错误通常表示CUBLAS库未正确初始化导致的问题。在本篇文章中，我们将深入探讨这个错误的原因，并给出解决方法。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说cuda教程[新手入门学编程],希望能够帮助大家进步!!!
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
