在模型训练过程中，矩阵乘法和排序是主要性能瓶颈，解决这个问题成为模型训练的关键所在。 近日，AlphaTensor为这个难以攻克的数学难题找到了新解法。...这是一种基于深度学习，包含标准矩阵乘法算法和递归算法的方法：将张量分解问题制定为一个单人游戏——TensorGame，通过训练神经网络指导规划过程，进而搜索出有效的矩阵乘法算法。...AlphaTensor的框架使用单个智能体分解各种大小的矩阵乘法张量，从而产生跨各种张量的学习分解技术的转移。...性能上，可将NVIDIA A100芯片代码运行速度提高12倍，AMD Instinct MI250的代码运行速度也可以提高4倍。...事实上，硬件厂商正在通过配套软件打造开发者生态系统，如英伟达的CUDA。但厂商希望的粘性对于想要多样化配置的开发者来说又非常不便，在CUDA上开发的人工智能代码，可能难以在AMD的图形处理芯片上运行。
这里展示一个简单的 A×B=C 矩阵乘法示例，其中所有矩阵的大小均为 32×32，计算模式在使用和不使用 Tensor Cores 时的样子。...没有张量核的矩阵乘法 如果我们想要进行 A×B=C 矩阵乘法，其中每个矩阵的大小为 32×32，那么就要将重复访问的内存加载到共享内存中，因为它的延迟大约低五倍（200 周期对 34 周期）。...这可能是由于较小的张量维度、准备矩阵乘法所需的操作（如 img2col 或快速傅里叶变换，FFT）的开销，或者无法使 GPU 饱和的操作（最终层通常相对较小）。它也可能是特定架构（分组卷积）的产物。...与完整的 Hopper H100 相比，RTX 40 系列可能存在未明确的性能下降。...压缩后密集压缩矩阵块被送入张量核心，该核心计算两倍于通常大小的矩阵乘法。这有效地产生了 2 倍加速，因为从共享内存进行矩阵乘法期间的带宽要求减半。
在说清楚哪个GPU参数对速度尤为重要之前，先看看两个最重要的张量运算：矩阵乘法和卷积。 举个栗子?，以运算矩阵乘法A×B=C为例，将A、B复制到显存上比直接计算A×B更耗费资源。...也就是说，如果你想用LSTM等处理大量小型矩阵乘法的循环神经网络，显存带宽是GPU最重要的属性。 矩阵乘法越小，内存带宽就越重要。 相反，卷积运算受计算速度的约束比较大。...Transformer中用到的大型矩阵乘法介于卷积运算和RNN的小型矩阵乘法之间，16位存储、张量核心和TFLOPs都对大型矩阵乘法有好处，但它仍需要较大的显存带宽。...也就是说，16位计算可以节省50%的内存，16位 8GB显存大小与12GB 32位显存大小相当。 云端or本地？TPU or GPU？...TensorFlow和PyTorch对AMD GPU有一定的支持，所有主要的网络都可以在AMD GPU上运行，但如果想开发新的网络，可能有些细节会不支持。
---- 新智元报道 编辑：LRS 【新智元导读】世上没有免费的午餐，享受了通用框架的便利，在特定任务上就要牺牲性能。...比如对于一个特定的问题，如果需要稀疏的小模型，想要获得最高性能的方法就是重写一遍，而非采用通用框架。...具体来说，在机器学习模型的研究中，通常依赖于一个假设：神经网络足够大，其中矩阵乘法（如卷积）的O(n^3)时间成本占了运行时间的绝大部分，这基本上也是机器学习库的大部分机制背后的4大指导原则： 1....目前AI加速的工作主要集中于GPU内核加速，让指令运行尽可能快，由于这些大型矩阵-矩阵操作在GPU上是最快的，并且也是大模型的主要瓶颈，所以性能基准基本上只是衡量这些特定内核的速度； 3....研究人员用LeNet5来测试MNIST，这个例子只是一个非常保守的速度估计，因为在更传统的机器学习用例中，批处理可以使用矩阵乘法，不过即使在这种情况下，由于semi-small的网络规模，也能看到大量的性能优势
大多数计算本质上是并行的浮点计算，即大量的矩阵乘法，其最佳性能需要大量的内存带宽和大小，这些需求与HPC的需求非常一致，GPU正好可以提供高精度浮点计算、大量VRAM和并行计算能力，NVIDIA的CUDA...他们观察到，子核核心以特定的拼接模式计算矩阵乘法，其中所有32个warp线程都在运行。 ? 从概念上讲，Tensor Core在4*4子矩阵上运行，以计算更大的16*16矩阵。...对于独立的4*4矩阵乘法累加，Tensor Core阵列在寄存器、数据路径和调度方面很有核能并没有物理设计，它只能用于特定的子矩阵乘法。 ?...，测出的性能比在cuBLAS中运行纯矩阵-矩阵乘法更有代表性。...测试的结果在意料之内，启用Tensor Core可以大幅提升性能。深入研究细节可以发现，Tensor Core对于特定类型的矩阵-矩阵乘法会有特别的影响。 ?
---- 点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 新智元 授权 【导读】世上没有免费的午餐，享受了通用框架的便利，在特定任务上就要牺牲性能。...比如对于一个特定的问题，如果需要稀疏的小模型，想要获得最高性能的方法就是重写一遍，而非采用通用框架。...具体来说，在机器学习模型的研究中，通常依赖于一个假设：神经网络足够大，其中矩阵乘法（如卷积）的O(n^3)时间成本占了运行时间的绝大部分，这基本上也是机器学习库的大部分机制背后的4大指导原则： 1....目前AI加速的工作主要集中于GPU内核加速，让指令运行尽可能快，由于这些大型矩阵-矩阵操作在GPU上是最快的，并且也是大模型的主要瓶颈，所以性能基准基本上只是衡量这些特定内核的速度； 3....研究人员用LeNet5来测试MNIST，这个例子只是一个非常保守的速度估计，因为在更传统的机器学习用例中，批处理可以使用矩阵乘法，不过即使在这种情况下，由于semi-small的网络规模，也能看到大量的性能优势
MI250X加速卡号称在同类产品中拥有世界上最快的HPC性能、AI性能，使用新的CDNA2计算架构，搭配升级的6nm FinFET工艺，580亿个晶体管，并使用2.5D双芯整合封装，14080个流处理器核心...，80个二代矩阵核心，8192-bit 128GB HBM2e内存，峰值560W。...除了全AMD架构的Frontier，美国还有其他方案，如Intel处理器+Intel加速卡的Aurora（极光）和AMD处理器＋NVIDIA加速卡的Polaris（北极星） Aurora超算系统是美国能源部阿贡国家实验室的超级计算机项目...英伟达表示，Polaris拥有560个计算节点，每个节点有4个 Nvidia A100 GPU，可以实现约44petaflops的峰值双精度性能，理论 AI 性能可以达到1.4 exaflops，所以Polaris...一位不愿透露姓名的权威人士表示，去年3月，在申威Sunway Oceanlite架构上跑过一次LINPACK，也就是目前超算排行榜排名第4的神威太湖之光的下一代产品，其峰值计算性能达到了1.3 exaflops
AMD对他们的深度学习软件投入很少，因此不能指望英伟达和AMD之间的软件差距将在未来缩小。 目前，AMD GPU的性能还可以。...理解TPU的最简单方法是将其视为打包在一起的多个专用GPU——而且只为了一个目的：进行快速矩阵乘法。...一个优秀的GPU应该拥有什么性能？ 训练深度学习模型时，GPU性能中最重要的特性到底是什么？是CUDA Core吗？还是时钟频率？或是RAM大小？...在确定优先级时，你也需要根据模型大小选择具有足够内存的GPU。 为什么优先级是这样的呢？ GPU可以快速实现两个最重要的张量操作：矩阵乘法和卷积。 考虑矩阵乘法A * B = C。...将A，B的存储器复制到芯片上比计算A * B更昂贵。这意味着，如果你想使用LSTM和其他经常进行大量小矩阵乘法的循环网络，则内存带宽是GPU最重要的特性。矩阵乘法越小，内存带宽就越重要。
为了加深理解，做出明智的选择，最好要了解一下硬件的哪些部分使 GPU 能够快速执行两种最重要的张量操作：矩阵乘法和卷积。 考虑矩阵乘法的一个简单而有效的方法是：它是受带宽约束的。...如果你想使用 LSTM 和其他需要做很多矩阵乘法的循环网络的话，内存带宽是 GPU 最重要的特性， 同样，卷积受计算速度约束。...这也是矩阵乘法的一大优点，因为数字的大小只有 16-bit 而不是 32-bit，在内存带宽相同的矩阵中，数字的数量可以传输两倍。...在 AMD GPU 上的 16-bit 算法和在 NVIDIA 的具有 Tensor Cores 的卡上的矩阵乘法算法一样快。...我根据这个硬件下的矩阵乘法和卷积的 roofline 模型以及来自 V100 和 Titan V 的 Tensor Core 基准数字来估计性能。
图1：Ampere架构GPU中的稀疏矩阵乘法功能所支持的结构 当你将这个稀疏权重矩阵与一些密集输入相乘时，安培的稀疏矩阵张量核心功能会自动将稀疏矩阵压缩为密集表示，其大小为图2所示的一半。...在压缩之后，密集压缩的矩阵瓦片被送入张量核心，张量核心计算的矩阵乘法是通常大小的两倍。这有效地产生了2倍的速度，因为在共享内存的矩阵乘法过程中，带宽要求减半。...随着Tensor Cores的稀疏矩阵乘法功能的增加，我的算法或其他稀疏训练算法，现在实际上在训练期间提供了高达2倍的速度。 开发的稀疏训练算法有三个阶段：（1）确定每层的重要性。...选择BERT Large推理，对GPU的压力最大。 图7：在RTX 2080 Ti上，在给定的功率限制下测得的速度下降 我们可以看到，设置功率限制并不严重影响性能。...将功率限制在50W，性能仅下降7%。 RTX 4090接头起火问题 有一种误解，认为RTX 4090电源线起火是因为被弯折过度了。实际上只有0.1%的用户是这个原因，主要问题是电缆没有正确插入。
在第L1层，我们执行2个矩阵-矩阵乘法(1向前，1向后)。事实上，除了第一层(L1)之外，我们在每一层都执行了3次矩阵乘法。...如果神经网络有n层，则需要进行3n-1个矩阵-矩阵乘法，即时，它随神经网络的大小线性增长。 一个快速观察方法是将批大小设置成1，我们看下B=1时的情况，即一次只学习一个数据点。...在这种情况下，矩阵-矩阵退化为矩阵-向量的乘法。然而，在实践中，批大小从不为1。...PyTorch和TensorFlow链接到Nvidia GPU上的这个库。类库为你做所有繁重的工作。但是设计糟糕的神经网络肯定会降低性能。...例如批处理大小= 512,N=1024, M=4096，算术强度为315，大于Volta V100 GPU的139。因此，该矩阵乘法是在Volta V100上的算术界，GPU将得到充分利用。
在GF(2w)域上，将范德蒙矩阵进行初等变换，将其前n行变成一个单位矩阵，就可以得到满足RS编码要求的生成矩阵。...在GF(2w)域上，加法的定义实际上就是异或，而乘法则复杂的多，通常便准的RS编码的计算开销太大，无法适应存储系统对于计算效率的要求。...基于范德蒙矩阵的RS码是最早的RS纠删码，在理论上，复杂的乘法运算与矩阵求逆导致了计算的复杂，该方法不适合用于大数据量的文件，从实验的结果也可以得出伴随冗余的增加，由于矩阵求逆与乘法的复杂，导致编解码吞吐的下降...柯西编解码为了降低乘法复杂度，采用了有限域上的元素都可以使用二进制矩阵表示的原理，将乘法运算转换成了迦罗华域“与运算”和“ XOR 逻辑运算”，提高了编解码效率。...与柯西未改进的算法在编解码吞吐与cpu占有上都有一定性能提高，吞吐量在增加，cpu占有降低。
高性能卷积的计算方法 2.1 卷积即矩阵乘法 矩阵-矩阵乘法的应用已经非常广泛，很多线性代数库充分结合了矩阵计算中的数据复用关系和处理器缓存的层次设计结构，对矩阵-矩阵乘法进行了充分的优化（GEMM，通用矩阵乘法...针对具有不同存储层次的处理器以及不同大小的矩阵计算而言，有不同的分块方式以达到峰值性能。...，可能无法获得好的性能 由于这些缺陷存在，如果没有针对硬件架构进行特殊的设计，卷积即矩阵乘法的设计思路往往无法达到峰值性能。...如果能用好这一特性，不再将卷积转化为矩阵乘法，直接计算卷积，能获得更高的性能。...前文提到“卷积即矩阵乘法的设计思路无法达到峰值性能”，但有了硬件架构的联合设计，这一结论不再成立。
资料来源：NVIDIA/Hot Chips 34 AMD 高级研究员 Alan Smith 在会议上同样介绍了“workload-optimized compute architecture”。...为了提高性能，AMD 不再需要不断复制来备份内存，从而显着减少了数据移动。...我们希望能够利用多个级别的并行性——训练级别的数据和模型级别的并行性，以及训练卷积和矩阵乘法时正在执行的固有操作中的并行性。我们希望它是一个完全可编程且灵活的硬件。”...越来越大的芯片 - 标线大小的芯片 - 您可以优化内核并确保它与软件很好地配合。这是矩阵乘法、图形计算，你并行投入的核心越多越好。然而，这些芯片现在正面临挑战。...但是随着规模下降的好处以及随后需要更快处理的数据的增加，现在每个人都必须更加努力地工作——他们必须与他们在过去的。 至少就功耗和性能而言，最好的前进方式是使用定制或半定制架构为特定目的设计芯片。
DeepShift 模型可以在不使用乘法的情况下实现，且在 CIFAR10 数据集上获得了高达 93.6% 的准确率，在 ImageNet 数据集上获得了 70.9%/90.13% 的 Top-1/Top...这些方法的重要魅力在于：它们可以轻松应用于多种网络，不仅能够缩减模型大小，还能降低在底层硬件上所需的复杂计算单元数量。...此类技术在小型数据集（如 MNIST 或 CIFAR10）上可能有较高的准确率，但在复杂数据集（如 ImageNet）上准确率会严重下降。...本论文提出该移位线性算子，在其前向传播中用按位移位和取反替代了矩阵乘法。其前向传播可定义为： ? 其中 N 是取反矩阵，S 是移位值矩阵，· 表示这两个矩阵的对应元素乘法。...最好的性能结果来自 ResNet152，其 Top-1 和 Top-5 准确率分别是 75.56% 和 92.75%。值得注意的是，由于时间限制，一些模型仅训练了 4 个 epoch。
张量实质上是任意类型的矩阵，所以它是任意维数的。因此你有由任意数量组成的数组在你的应用中作为数组执行，这就是张量。只要维数匹配，你就可以在张量上进行矩阵乘法。当实际执行时，神经网络时完全连接的。...我之前提到的神经网络具有矩阵乘法，但类似这样的深度神经网络，加上"深度(deep)"的关键字或者深度方面。设想每个网络，采用诸如此类的矩阵乘法对输入数据进行操作。...为此人们通常构建大型的矩阵，或者有大量GPU的机器用来训练模型。通常需要数小时数天或数周来训练一个模型。仅为了运行一个测试，确保特定的模型或者特定的神经网络能够发挥性能。 ?...这意味着大小不一定为55000，它可以是任意大小。接着分配这些变量，因此权重和偏差将在训练中更新。 然后我要定义在值上进行的操作。这里要进行矩阵乘法，这是我要进行的预定义操作之一。...除了能够利用GPU以及这类硬件，我们也在开发自己的硬件用于机器学习和矩阵乘法。这称为Tensor Processing Unit(TPU)。这是我们在谷歌开发的一种ASIC，为了获得更好的性能。
预训练大语言模型（LLM）在特定任务上的性能不断提高，随之而来的是，假如 prompt 指令得当，其可以更好的泛化到更多任务，很多人将这一现象归功于训练数据和参数的增多，然而最近的趋势表明，研究者更多的集中在更小的模型上...从而可以在单个 24GB 的消费级 GPU 上运行 33B 参数的 LLM，而不会有任何性能下降，同时还能提高 15% 的速度。...图 1 结果显示，在相似的模型大小下，SpQR 的性能明显优于 GPTQ（以及相应的 RTN），特别是在较小的模型上。这种改进得益于 SpQR 实现了更多的压缩，同时也减少了损失退化。...该研究将专门设计的稀疏矩阵乘法算法与 PyTorch（cuSPARSE）中实现的算法进行了比较，结果如表 4 所示。...可以看到，尽管 PyTorch 中的标准稀疏矩阵乘法并没有比 16 位推理更快，但本文专门设计的稀疏矩阵乘法算法可以提高约 20-30% 的速度。
测试结果显示，相比 PyTorch Eager，AITemplate 在 NVIDIA GPU 上实现了最高 12 倍的性能提升，在 AMD GPU 上实现了高达 4 倍的性能提升。...具体而言，AITemplate 是一个能把 AI 模型转换成高性能 C++ GPU 模板代码的 Python 框架。该框架在设计上专注于性能和简化系统。...在水平融合中，AITemplate 目前可以把不同输入形状的矩阵乘法 (GEMM)、矩阵乘法和激活函数，以及 LayerNorm、LayerNorm 和激活函数进行融合。...； 为 Transformer 的 Multi-head Attention 提供了矩阵乘法和内存布局转置融合； 通过张量访问器对内存操作，如 split、slice、concatenate 等进行融合来消除内存搬运...Kernel 提供的通用背靠背矩阵乘法融合。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
