在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python计算任务和调度任务是一体化的，而且还有一个比较大的限制是没办法跨节点操作的，这对于任务与环境的定制化程度要求是比较高的。而MPI的方案在设计初期就考虑到了多节点之间通信的问题，而这种分层式的任务调度解决方案其实在架构上看也更加的合理。做计算的人只要考虑单个进程下的任务如何执行就可以了，至于任务如何并行如何调度，那就是上层的MPI该做的事情了。
如果报错说“Aborting because C++ compiler does not work.”，就安装下编译器：
Ubuntu - openmpi 源码安装 sudo apt-get install openmpi # 安装版本比较低 1. Ubuntu 程序源码安装 主要包括三个步骤: 1 - ./configure 2 - make 3 - make install 这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。 ./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。 m
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
这种安装运行方法比前面（点击打开链接）的方法简单，这种方法用官方预装好的repast HPC2.0，可以省去自己安装MPI于boost的工作。
CFOUR程序的全称为Coupled-Cluster techniques for Computational Chemistry，是一款专注于高精度量子化学计算的程序。从名字可以看出，其专长为耦合簇方法，支持在CC级别下做单点、几何结构优化（如CCSD(T)级别）、激发态计算（如EOM-CCSDT）、性质计算（如CCSD(T)级别的NMR计算）。其官方网站为
业界AI应用中，GPU的使用逐渐增加，腾讯云TACO是一种异构计算加速软件服务，搭配腾讯自研的软硬件协同优化组件和硬件厂商特有优化方案，支持物理机、云服务器、容器等产品的计算加速、图形渲染、视频转码各个应用场景，帮助用户实现全方位全场景的降本增效。
近期由于一些原因接触到了并行计算，对于这个陌生的领域我最先接触到的是MPI框架。MPI（Message Passing Interface），可以理解为是一种独立于语言的信息传递标准。目前它有两种具体的实现OpenMPI和MPICH，也就是说如果我们要使用MPI标准进行并行计算，就需要安装OpenMPI或MPICH库。本文以MPICH为例，在ubantu中安装MPI的环境，并对vscode进行配置。
有的时候MPI需要使用多节点，那么测试哪些进程在哪些机器上就比较重要，如下可以简单测试一下。
nccl-test 工具是 nvidia 开源的一项用于测试 NCCL 集合通信的工具。可以用于检测集合通信是否正常、压测集合通信速率。官方开源地址：https://github.com/NVIDIA/nccl-tests
MPI(Message Passing Interface) 是一种可以支持点对点和广播的通信协议，具体实现的库有很多，使用比较流行的包括 Open Mpi, Intel MPI 等等，关于这些 MPI 库的介绍和使用，本文就不多赘述了，各位可以看看官方文档。
0x00 前言 本篇是MPI的入门教程，主要是为了简单地了解MPI的设计和基本用法，方便和现在的Hadoop、Spark做对比，并尝试理解它们之间在设计上有什么区别。 身处Hadoop、Spark这些优秀的分布式开发框架蓬勃发展的今天，老的分布式编程模型是否没有必要学习？这个很难回答，但是我更倾向于花一个下午的时候来学习和了解它。 关于并发和并行编程系列的文章请参考文章集合 文章结构 举个最简单的例子，通过这个例子让大家对MPI有一个基本的理解。 解释一些和MPI相关的概念。 列举一些MPI的常用函数
在使用MPI框架中，需要多机进行通信进行并行计算；现在配置多个主机进行运行mpi程序，并进行通信；涉及到ssh无密码和nfs文件系统配置；
IB（InfiniBand）和 RDMA（Remote Direct Memory Access）是一种高性能网络技术，通常用于加速数据传输。它们不是基于传统的 TCP/IP 协议栈，而是使用自己的协议栈，以实现低延迟、高带宽的数据传输。
Fatal error in MPI_Send: Unkown error class , error stack。
分布式和并行计算，在计算机领域是非常重要的概念。对于一些行外人来说，总觉得这是一些很简单的工作，但是如果我们纵观计算机的硬件发展史，从CPU到GPU，再到TPU和华为的昇腾（NPU），乃至当下的热点量子计算机（QPU），其实就是一个分布式与并行计算的发展史。从简单的数据并行，到算法并行，到图的并行，最后是量子叠加所带来的物理并行。因此能否做好分布式与并行的技术，很大程度上决定了一个工具的性能上限，本文我们一起来研究一下MindSpore分布式训练的方法。
IOR是一个并行的IO基准，可用于测试使用各种接口和访问模式的并行存储系统的性能。接口和访问模式的并行存储系统的性能。IOR资源库还包括mdtest基准，专门测试不同目录结构下存储系统的元数据峰值速率。在不同目录结构下存储系统的元数据峰值速率。这两个基准都使用一个共同的并行 I/O抽象后端，并依靠MPI进行同步。本文档由两部分组成。用户文档包括安装说明（Install），初学者教程（IOR的第一步），以及关于IOR的运行时选项的信息。开发者文档包括用Doxygen生成的代码文档和一些关于与Travis的连续整合的说明。IOR/mdtest用户和开发者文档的许多方面都是不完整的，我们鼓励贡献者 鼓励贡献者直接评论代码或在此基础上扩展文档。
运行一个 mpi-operator 的 demo（这个 demo 还是我提交的…），看到如下错误。
OpenMPI- Ubuntu安装与配置 OpenMPI安装 下载OpenMPI v2.0.2 解压文件，并进入文件夹，指定安装路径(默认路径：/usr/local/lib) wget https://www.open-mpi.org/software/ompi/v2.0/downloads/openmpi-2.0.2.tar.gz tar zxvf openmpi-2.0.2.tar.gz cd openmpi-2.0.2 sudo ./configure --prefix=/usr/local
针对目前国内Rosetta中文资源甚少、零散、求助难的问题，我搭建了一个Rosetta中文社区论坛(beta)。
Quantum Espresson （以下简称 QE）是一款基于平面波函数的开源第一性原理计算框架，其免费、易安装使用等优点受到了广大第一性原理计算研究人员的喜爱。QE 不仅支持 CPU 的并行高性能计算，还支持 GPU 计算。这看起来有点像是计算机专业里的深度学习框架，有完整的计算加速支持。另外，QE 与 VASP 的使用习惯类似度比较高，不管是输入文件还是赝势文件，都可以类比着使用。对于计算后的输出结果，QE 也有一套完整的工具链辅助用户完成一些常用的分析操作，比如寻找 k 路径、分析能带结构（Band Gap）等等。
TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库，此类 DNN 需要分布式训练，并且在多个主机上使用多个 GPU。Amazon SageMaker 是一项托管服务，可通过主动学习、超参数优化、模型分布式训练、监控训练进展，部署培训模型作为自动扩展的 RESTful 服务，以及对并发 ML 实验进行集中式管理，从标签数据开始简化 ML 工作流。
在飞速发展的生成式人工智能（GenAI）领域，大型语言模型（LLM）调优因其高计算、高内存需求而带来了独特的挑战。LoRA 和 QLoRA 等技术为最先进 LLM 模型的调优工作提供了更强大的选项，它们的速度更快，成本更低。我们已经将 QLoRA 集成到了 BigDL LLM 库中。这个库是专门为英特尔的 GPU 而设计的。
选自GitHub 作者：Ronan Collobert等 机器之心编译 参与：李亚洲、刘晓坤 近日，Facebook AI 研究院开源了端到端语音识别系统 wav2letter，本文是该架构的论文实现，读者可据此做语音转录。 GitHub 地址：https://github.com/facebookresearch/wav2letter wav2letter wav2letter 是 Facebook AI 研究院今天开源的简单高效的端到端自动语音识别（ASR）系统。该实现的原作者包括 Ronan Col
Python在处理大的数据集的时候总是速度感人。代码一旦开始运行，剩下的时间只好满心愧疚地刷手机。
WPS只是WRF运用实际数据模拟的准备过程，这就好比开车要先上车。讲完前处理过程之后 WRF模式之WPS的配置运行，就要开始模拟了。
C:\boost_1_60_0\tools\build\src\tools\mpi.jam，利用文本文件打开mpi.jam文件。做如下修改：
图数据库是面向 OLTP 场景，强调增删改查，并且一个查询往往只涉及到全图中的少量数据，而图计算是面向 OLAP 场景，往往是针对全图数据进行分析计算。
下面给大家讲一讲shell编程在数据处理和模式运行中的妙用。主要有三个方面的内容：
公众号的安装教程里常说的“Intel全家桶”指的是Intel Parallel Studio XE，里面集成了C/C++/Fortran语言的编译器（分别是icc、icpc、ifort）、MKL数学库及各种高效调试工具，甚至还有Intel MPI，可以说是编译量化软件最常用的一套“装备”。然而从2021年开始Intel不再提供旧版Parallel Studio XE下载页面，而是改成了（或称升级成了）oneAPI，又可具体细分为oneAPI Base Toolkit和oneAPI HPC Toolkit等等。
Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题：逻辑回归、SVD、矩阵分解（BFGS，sgd，als，cg），LDA，Lasso...。
https://blog.csdn.net/liu_feng_zi_/article/details/94286438
思想： （1） 对于一个nxm的数组，使用N个work进行处理. (2) 先按行对数组进行升序和降序排序【由左至右】，一般奇数序列work升序，偶数序号的work进行降序 （3）再按列对数组进行
Horovod 是一款基于 AllReduce 的分布式训练框架。凭借其对 TensorFlow、PyTorch 等主流深度学习框架的支持，以及通信优化等特点，Horovod 被广泛应用于数据并行的训练中。
选自Uber 作者：Alex Sergeev、Mike Del Balso 机器之心编译 参与：李泽南、路雪 Horovod 是 Uber 开源的又一个深度学习工具，它的发展吸取了 Facebook「一小时训练 ImageNet 论文」与百度 Ring Allreduce 的优点，可为用户实现分布式训练提供帮助。本文将简要介绍这一框架的特性。 近年来，深度学习引领了图像处理、语音识别和预测等方面的巨大进步。在 Uber，我们将深度学习应用到了公司业务中，从自动驾驶搜索路线到防御欺诈，深度学习让我们的数据科
FauxPilot 插件原本是对接 FauxPilot[1] Server 的，通过 FauxPilot Server 也可以实现 GitHub Copilot 服务的功能，并支持多显卡加载 CodeGen 模型，可解决单卡显存不足又想加载大模型的问题。
随着计算机的计算能力和运行规模的不断提升，基于第一性原理计算理论的计算材料学科越来越得到重视。但是一般来说这样的模拟需要对一个包含成千上万的原子、电子而言，所需的计算框架是非常复杂的，计算代价是相当昂贵的。比如为人所熟知的商用类型第一性原理计算框架 VASP 授权通常需要五六万人民币以上，而且在一个普通超算集群上计算一个完整的体系结构可能需要几周，甚至几个月。无论是软件授权成本，还是时间成本，都比较高昂。对于想学习和实践第一性原理计算的小伙伴而言，当然也有比较节省的方式。首先软件可以选用免费的开源第一性原理计算框架，比如说本文中即将介绍到的 CONQUEST，以及 ABINT，SMASH 和 QUANTUM ESPRESSO 等。
这个系列是对DeepSpeed的教程做一下翻译工作，在DeepSpeed的Tutorials中提供了34个Tutorials。这些Tutorials不仅包含配置DeepSpeed完成分布式训练的标准流程，还包含一些DeepSpeed支持的一些Feature比如低比特优化器，Zero等等。最近有使用DeepSpeed做一些简单的模型训练实验的需求，所以开一下这个专题，尽量翻译完DeepSpeed的大多数Tutorials，不定期更新。这篇首先翻译一下Getting Started 和 Installation Details，CIFAR-10 Tutorial 这三个Tutorials。基于 PyTorch 2.0 版本运行 CIFAR-10 Tutorial 中碰到一些报错也给出了解决的方法。
在实际的生产环境中，使用单用户模式直接运行命令的机会不是很多，通常是采用提交作业任务给集群计算的方式。这样一来既能节约资源和时间，又能申请到更大规模的计算资源，对于平台管理人员还是用户来说都是非常有利的。国家超算中心，地方超算中心，学校超算中心一般都对外提供这样的服务，不过需要按核时进行计费。所谓“核时”就是一个 CPU 核运行一个小时，这也是高性能计算中通常使用的资源衡量单位。作为超算中心或者高性能集群，必不可缺的就是集群作业管理系统，它可以根据用户的需求，统一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高系统利用率和吞吐率。
AI 研习社消息，日前， Facebook 人工智能研究院发布 wav2letter 工具包，它是一个简单高效的端到端自动语音识别(ASR)系统，实现了 Wav2Letter: an End-to-End ConvNet-based Speech Recognition System 和 Letter-Based Speech Recognition with Gated ConvNets 这两篇论文中提出的架构。如果大家想现在就开始使用这个工具进行语音识别，Facebook 提供 Librispeech
2012 年 7 月写这篇文章，我已经有大约一年没有运行 WRF了。或许我在本文中所写的内容已过时，它只包含当 WRF 不运行时可以尝试的方法。我感觉到你的痛苦，但我无法让它消失。对不起，我希望我能知道更多，以便我可以给你提供帮助。
本文以 PyTorch 官方文档 https://pytorch.org/tutorials/intermediate/dist_tuto.html 为基础，对如何编写分布式进行了介绍，并且加上了自己的理解。
从用户角度看，存储就是一块盘或者一个目录，用户不关心盘或者目录如何实现，用户要求非常“简单”，就是稳定，性能好。为了能够提供稳定可靠的存储产品，各个厂家推出了各种各样的存储技术和概念。为了能够让大家有一个整体认识，本文先介绍存储中的这些概念。
本文由美团 NLP 团队高辰、赵登昌撰写，首发于 Nebula Graph Community 公众号
背景 随着 AI 模型规模的越来越大，训练数据的越来越多，用户对模型的迭代效率也要求越来越高，单个 GPU 的算力显然无法满足大部分业务场景，使用单机多卡或多机多卡训练成为趋势。单机多卡训练场景的参数同步借助目前 NVIDIA NVLINK 技术已经得到了很好地解决，而多机多卡场景由于对网络通信的强依赖就没有那么简单。 目前网卡厂商提供的 RoCE 等 RDMA 技术，使得多机通信效率大幅提升，但是如何在25G或 50G VPC 网络环境下提升分布式训练系统的通信效率，仍然是目前公有云厂商亟需解决的
冯克环，腾讯云异构计算研发工程师，专注于云上 AI 训练加速相关技术，对 GPU 虚拟化、GPU 训练加速有深厚的积累，目前负责腾讯云 AI 训练加速相关技术的研发以及性能优化工作。 张锐，腾讯云网络虚拟化研发工程师，在之前的工作中专注于 AI 训练网络优化方面的工作，在 RDMA、GPU 通信优化等方面有较多经验，目前专注于做云上AI训练通信优化方面的工作。 背景 随着 AI 模型规模的越来越大，训练数据的越来越多，用户对模型的迭代效率也要求越来越高，单个 GPU 的算力显然无法满足大部分业务场景，使
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
