我们在前文介绍过，微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。
本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。
作者：Stanislav Belyasov 翻译：陈之炎校对：赵茹萱 本文约4000字，建议阅读8分钟本文给出了高效使用内存的关键概念，它适用于多种艰巨的任务。 在训练模型过程中，细数那些完胜“CUDA 内存出错..”报错的提高内存效率技术。 提问：模型大小超过GPU 容量怎么办？ 本文的灵感来自于Yandex数据分析学院教授的“高效深度学习系统”课程。 预备知识：假设读者已经了解神经网络的前传递和后向传递的工作原理，这对理解本文内容至关重要。文中使用PyTorch作为框架。 开始吧！ 当试图使用大型模
Efficient Data Loader for Fast Sampling-Based GNN Training on Large Graphs | IEEE Journals & Magazine | IEEE Xplore
机器之心报道 编辑：泽南 1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？ 计算成本是人们打造 ChatGPT 等大模型面临的重大挑战之一。 据统计，从 GPT 进化到 GPT-3 的过程也是模型体量增长的过程 —— 参数量从 1.17 亿增加到了 1750 亿，预训练数据量从 5GB 增加到 45TB，其中 GPT-3 训练一次的费用是 460 万美元，总训练成本达 1200 万美元。 除了训练，推理也很花钱。有人估算，现在 OpenAI 运行 ChatGPT
作者 | Facebook工程团队 译者 | 王强 策划 | 刘燕 大规模训练 AI 模型并非易事。 除了需要大量算力和资源外，训练非常大的模型背后也有着相当大的工程复杂性。在 Facebook AI Research（FAIR）Engineering，我们一直在努力构建各种工具和基础设施，让大型 AI 模型训练起来更加轻松。 我们最近的一部分成果包括了 层内模型并行、流水线模型并行、优化器状态 + 梯度分片 和 多专家模型 等领域的工作，旨在提升为任意数量的任务训练高级 AI 模型的效率。 完全分片数据
Generative AI时下的爆发，催生搜索场景进入一个新的范式，我们越来越多的使用全文检索+向量搜索的混合搜索用于召回多更相关的数据，使用NLP模型增强对数据理解、丰富数据的层次，甚至是使用ML模型来进行召回后的精排，或者是使用生成式AI来对结果进行生成式的输出，而非召回后的直接排序结果。
当您在使用 PyTorch 进行深度学习应用时，有时会遇到下面这个错误信息：“Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False”。本文将为您解释这个错误的原因以及如何解决它。
目前，像GPT-4（OpenAI，2023年）、PaLM 这样的大型语言模型在自然语言处理、总结、代码生成、问题回答等方面占据主导地位。然而，它们昂贵的在线推理成本对基于LLM的应用部署构成了重大障碍。在有限的计算资源下，如何尽可能最大化整个系统的吞吐量，并提高GPU集群的利用率变得越来越重要。
（ps：对于如何在Intel CPU，ARM架构CPU，以及Jetson TensorRT上部署深度学习模型，以及部署遇到的速度问题，该如何解决。请查看我的另外一篇文章。如何定制化编译Pytorch，TensorFlow，使得CNN模型在CPU，GPU，ARM架构和X86架构，都能快速运行，需要对每一个平台，有针对性的调整。如何做到最大化加速深度学习在不同平台部署性能。请看我的这篇文章。）
经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。
在训练深度学习模型时，性能至关重要。数据集可能非常庞大，而低效的训练方法意味着迭代速度变慢，超参数优化的时间更少，部署周期更长以及计算成本更高。
嵌入模型是大型语言模型检索增强生成(RAG)的关键组成部分。它们对知识库和用户编写的查询进行编码。
GPU服务器在执行AI计算时，发挥着至关重要的作用。这类服务器通常配备高性能的图形处理器（GPU），这些GPU专为处理大规模并行计算任务而设计，如深度学习、机器学习等。在AI计算中，GPU服务器以其高效的并行处理能力和内存带宽，为复杂的神经网络模型提供了强大的计算支持。
在使用深度学习库PyTorch中加载模型时，有时可能会遇到错误消息 "torch.load invalid load key, ‘\x00‘"。这个错误表明加载的模型文件包含无效的加载键。
在深入探讨 PyTorch 中的 Storage 类以及其在参数 offload 场景中的应用之前，让我们首先了解一下 PyTorch 和它的基础组件。PyTorch 是一个广泛使用的开源机器学习库，它不仅提供了强大的计算图功能和自动梯度计算，还允许开发者直接操作底层数据结构，这其中就包括 Storage。
【磐创AI 导读】：本篇文章讲解了PyTorch专栏的第三章中的保存和加载模型。查看专栏历史文章，请点击下方蓝色字体进入相应链接阅读。查看关于本专栏的介绍：PyTorch专栏开篇。
现有一个古诗自动生成的训练接口，该接口通过Pytorch来生训练模型（即生成古诗）为了加速使用到了GPU，但是训练完成之后GPU未能释放。故此需要进行优化，即在古诗生成完成之后释放GPU。 该项目是一个通过Flask搭建的web服务，在服务器上为了实现并发采用的是gunicorn来启动应用。通过pythorch来进行古诗训练。项目部署在一个CentOS的服务器上。
近年来，大型语言模型的快速发展为世界带来了巨大的价值，其优越性能源自它们所利用的庞大参数数量。然而，即使是目前内存容量最高的GPU，也只有80GB，远远不足以容纳这些庞大的参数及其相关的优化器状态，尤其在进行基于随机梯度下降的优化时。
选自timdettmers.com 作者：Tim Dettmers 机器之心编译 编辑：泽南 FP8 训练带来的速度提升可能要一统 AI 领域，但这是我要考虑的问题吗？ 深度学习对于算力的要求很高，对于个人来说，GPU 的选择很大程度上决定了你的工作、学习体验。显卡既贵又复杂，如果想购买新的 GPU，哪些功能最重要？内存、核心、Tensor Core 还是缓存？如何做出性价比高的选择？每出一代新 GPU 这些问题就要重新审视一番。 近日，华盛顿大学在读博士 Tim Dettmers 通过一篇长文在 RTX
因此，Conv2d图层需要使用Cin通道将高度为H且宽度为W的图像作为输入 。现在，对于卷积网络中的第一层，的数量in_channels将为3（RGB），并且out_channels用户可以定义数量。kernel_size大多采用3×3是，并且stride通常使用为1。
本文为利用GPU和Caffe训练神经网络的实战教程，介绍了根据Kaggle的“奥托集团产品分类挑战赛”的数据进行训练一种多层前馈网络模型的方法，如何将模型应用于新数据，以及如何将网络图和训练权值可视化。 ---- Caffe是由贾扬清发起的一个开源深度学习框架，它允许你利用你的GPU训练神经网络。相对于其他的深度学习框架如Theano或Torch等，Caffe不需要你自己编写算法程序，你只需要通过配置文件来指定网络。显然，这种做法比自己编写所有程序更加节省时间，也将你限制在一定的框架范围内。不过，在大多数情
在谷歌发布TPU一年后，这款机器学习定制芯片的神秘面纱终于被揭开了。 昨日，谷歌资深硬件工程师Norman Jouppi刊文表示，谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍（
通过阅读文章，读者可以详细学习LLaMA微调的相关知识和实践技巧。理解训练过程中的 Zero 等参数设置、数据准备（ChatGPT 训练数据生成流程）。对于微调方式，课程将分别以 Lora 方式、Ptuning 方式为例，进行演示讲解，我们还会讲解合并LoRA 参数与原始参数的方法、Fsdp与Deepspeed 的全参数微调技巧等内容。最后，讲解模型效果的测评，还将对相关指标进行说明和分析，帮助学员掌握有效评估模型性能的方法。下面开始我们的分享：
本文[1]提供了有关如何构建用于深度学习的多 GPU 系统的指南，并希望为您节省一些研究时间和实验时间。
大语言模型通常需要较大的GPU内存。那能不能在单个GPU上运行推理？如果可以，那么所需的最小GPU内存又是多少？
【编者按】本文为利用GPU和Caffe训练神经网络的实战教程，介绍了根据Kaggle的“奥托集团产品分类挑战赛”的数据进行训练一种多层前馈网络模型的方法，如何将模型应用于新数据，以及如何将网络图和训练权值可视化。 ---- Caffe是由贾扬清发起的一个开源深度学习框架，它允许你利用你的GPU训练神经网络。相对于其他的深度学习框架如Theano或Torch等，Caffe不需要你自己编写算法程序，你只需要通过配置文件来指定网络。显然，这种做法比自己编写所有程序更加节省时间，也将你限制在一定的框架范围内。不过，
如果在单个 GPU 上训练模型太慢或者模型的权重无法适应单个 GPU 的内存，则过渡到多 GPU 设置可能是一个可行的选择。在进行此过渡之前，彻底探索在单个 GPU 上进行高效训练的方法和工具中涵盖的所有策略，因为它们普遍适用于任意数量的 GPU 上的模型训练。一旦您采用了这些策略并发现它们在单个 GPU 上不足以满足您的情况时，请考虑转移到多个 GPU。
机器之心报道 编辑：张倩 在强化学习研究中，一个实验就要跑数天或数周，有没有更快的方法？近日，来自 SalesForce 的研究者提出了一种名为 WarpDrive（曲率引擎）的开源框架，它可以在一个 V100 GPU 上并行运行、训练数千个强化学习环境和上千个智能体。实验结果表明，与 CPU+GPU 的 RL 实现相比，WarpDrive 靠一个 GPU 实现的 RL 要快几个数量级。 深度强化学习是一种训练 AI 智能体的强大方法。然而，如何将强化学习应用于多个智能体或高维状态、观察结果、行动空间等复杂
ChatGLM-6B 是的一种自然语言处理模型，属于大型生成语言模型系列的一部分。"6B"在这里指的是模型大约拥有60亿个参数，这些参数帮助模型理解和生成语言。ChatGLM-6B 特别设计用于对话任务，能够理解和生成自然、流畅的对话文本。 这个模型通过大量的文本数据进行训练，学习如何预测和生成语言中的下一个词，从而能够参与到各种对话场景中。它可以用于多种应用，比如聊天机器人、自动回复系统和其他需要语言理解的技术中，ChatGLM-6B 的能力取决于它的训练数据和具体的实现方式，通常能够处理复杂的语言任务，提供有用和合理的回复。
目前训练超大规模语言模型主要有两条技术路线：TPU + XLA + TensorFlow 和 GPU + PyTorch + Megatron-LM + DeepSpeed。前者由 Google 主导，由于 TPU 和自家云平台 GCP 深度绑定，对于非 Google 开发者来说， 只可远观而不可把玩，后者背后则有 NVIDIA、Meta、微软等大厂加持，社区氛围活跃，也更受到群众欢迎。
所有 Jetson AGX Orin 和 Orin NX 板以及所有上一代 Jetson AGX Xavier 和 Xavier NX 模块都具有 DLA 内核。对于至少具有一个 DLA 实例及其相应时钟设置的所有平台。DRIVE Xavier 和 DRIVE Orin 也有 DLA 核心。
在使用PyTorch进行深度学习训练时，我们通常会使用DataLoader来加载和处理数据。其中一个重要的参数是num_workers，它定义了用于数据加载的线程数。然而，一些开发者可能会发现，在某些情况下，将num_workers设置为较高的值会导致训练阻塞。本文将分析这个问题的原因，并提供解决方法。
大型语言模型 (LLM) 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选择最佳配置变得困难。
前不久，谷歌发布了参数量为 1.6 万亿的语言模型 Swith Transformer，将 GPT-3 创下的参数量记录（1750 亿）推至新高。这些大模型的出现让普通研究者越发绝望：没有「钞能力」、没有一大堆 GPU 就做不了 AI 研究了吗？
本文介绍了基于深度学习的人脸检测技术的实现方法、框架和优化，以及应用于移动设备上的性能优化。
以下都在Ubuntu上面进行的调试, 使用的Ubuntu版本包括14, 18LST
【新智元导读】本文从云服务、on-device 和 hybrid 三个角度分析AI硬件的进步，以及各大芯片公司、巨头科技公司以及初创企业和研究机构如何将 CPU、GPU、FPGA 和 ASIC用于 AI 任务。 树莓派(Raspberry Pi)对计算机爱好者来说是最令人兴奋的发展之一。在世界各地，人们使用树莓派来自动化制造啤酒，制作机器人，改革STEM教育，等等。这些都是值得称赞的追求。同时，微软在用树莓派做什么呢？他们创造了一个攻击松鼠的喷水机器人。 微软的机器学习和优化小组里，一名研究人员看到松鼠从他
有了能做出惊人预测的模型之后，要做什么呢？当然是部署生产了。这只要用模型运行一批数据就成，可能需要写一个脚本让模型每夜都跑着。但是，现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据，这种情况需要将模型包装成网络服务：这样的话，任何组件都可以通过REST API询问模型。随着时间的推移，你需要用新数据重新训练模型，更新生产版本。必须处理好模型版本，平稳地过渡到新版本，碰到问题的话需要回滚，也许要并行运行多个版本做AB测试。如果产品很成功，你的服务可能每秒会有大量查询，系统必须提升负载能力。提升负载能力的方法之一，是使用TF Serving，通过自己的硬件或通过云服务，比如Google Cloud API平台。TF Serving能高效服务化模型，优雅处理模型过渡，等等。如果使用云平台，还能获得其它功能，比如强大的监督工具。
千平 编译整理 量子位 出品 | 公众号 QbitAI 苹果公司的计算机视觉机器学习团队，最近发表了一篇博客，介绍了苹果如何在手机上实现用深度神经网络进行人脸识别。 苹果首次公开发布人脸检测API，是
Trainer 类提供了一个用于在 PyTorch 中进行完整特征训练的 API，并支持在多个 GPU/TPU 上进行分布式训练，支持NVIDIA GPUs的混合精度，AMD GPUs，以及 PyTorch 的torch.amp。Trainer 与 TrainingArguments 类相辅相成，后者提供了广泛的选项来自定义模型的训练方式。这两个类一起提供了一个完整的训练 API。
2020 开年，ZILLIZ 与 InfoQ 筹备了以异构计算为专题的一系列文章。此篇文章作为异构计算专题的开篇，整体性的介绍了异构计算的定义、场景与局限性。在后续的专题文章中，我们将深入不同的 AI 应用场景进一步解释异构计算的优势。
本文通过搜索推荐项目进行外卖搜索广告弱供给填充，提高流量变现效率。我们提出外卖多场景异构大图、异构大图在线建模技术演进路线，解决外卖搜索推荐业务多渠道、即时化的挑战。相关成果发表CIKM2023会议一篇。联合机器学习平台搭建大规模图训练、在线推理引擎GraphET，满足近百亿边规模、复杂图结构的多个业务落地。
“10b”、“13b”、“70b” 等术语通常指的是大型神经网络模型的参数数量。其中的 “b” 代表 “billion”，也就是十亿。表示模型中的参数量，每个参数用来存储模型的权重和偏差等信息。例如：
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 chatglm.cn 体验更大规模的 ChatGLM 模型。
原本需要一张16万元的80G A100干的活，现在只需要一张不到2万元的24G 4090就够了！
这篇文章主要翻译DeepSpeed的Megatron-LM GPT2 ，Zero零冗余优化器技术，ZeRO-Offload技术。关于DeepSpeed 的Zero和ZeRO-Offload的技术原理大家也可以查看图解大模型训练之：数据并行下篇(ZeRO，零冗余优化) 这篇文章，文章里面对内存的计算和通信量的分析都很棒。
机器之心发布 机器之心编辑部 最近，AI 大模型连续火爆出圈，人工智能生成模型（AIGC）的热度尚未褪去，聊天机器人 ChatGPT 便引发全网热议，两周吸引百万用户。还有卷趴一半程序员的 AlphaCode，生成全新蛋白质的 ESM2 等，不断探索 AI 大模型落地的新领域。面对大模型带来的技术革命，连谷歌都拉响 “红色警报”，担心 ChatGPT 砸掉自己搜索引擎的饭碗。 作为当下最火热的开源 AI 大模型解决方案，Colossal-AI 已收获 Github Star 七千多颗，此前在 Stable
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
