專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈ 前言 本文中作者使用MPI的Python接口mpi4py来将自己的遗传算法框架GAFT进行多
如果报错说“Aborting because C++ compiler does not work.”，就安装下编译器：
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈— 前言 在高性能计算的项目中我们通常都会使用效率更高的编译型的语言例如C、C++、Fort
https://www.cnblogs.com/zhbzz2007/p/5827059.html
在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python计算任务和调度任务是一体化的，而且还有一个比较大的限制是没办法跨节点操作的，这对于任务与环境的定制化程度要求是比较高的。而MPI的方案在设计初期就考虑到了多节点之间通信的问题，而这种分层式的任务调度解决方案其实在架构上看也更加的合理。做计算的人只要考虑单个进程下的任务如何执行就可以了，至于任务如何并行如何调度，那就是上层的MPI该做的事情了。
Python在处理大的数据集的时候总是速度感人。代码一旦开始运行，剩下的时间只好满心愧疚地刷手机。
由于CASCI/CASSCF计算量随活性空间呈指数增长，超过(16,16)的计算在高配机器上几乎不可能。近似求解大活性空间的方法通常有DMRG, selected CI等等。Block-1.5是做DMRG计算的经典程序，由Sandeep Sharma和Garnet Chan开发，虽然早在5年前就不更新了，但其计算速度仍高于很多同类程序。Block-1.5一般结合PySCF使用，可以进行DMRG-CASCI，DMRG-CASSCF和DMRG-SC-NEVPT2等计算。笔者之前在公众号上将该程序的安装拆分为几篇短文
from mpi4py import MPI comm = MPI.COMM_WORLD rank = comm.Get_rank() print("hello world from process ", rank)
Python pandas、NumPy、scikit-learn 只能在单机运行，如果你还还在困扰如何将这些任务横向扩展，这本书正适合你！
安装mpi4py所需要的依赖包(python2.7版本/Cpython/Openmpi) 1.源码包安装Python2.7版本
有任务需要处理一堆收集来得开源数据集，在服务器单机跑了一天才给结果，多方咨询有HPC可以用，或者叫supercomputer，或者叫计算机集群，大部分的简称grid。看了wiki、confluence，给出一堆链接在脑海中织出密密麻麻的蜘蛛网——无从下手。居然没有use case出发端到端的参考demo，真是无力吐槽。自力更生求助google，youtube，stack overflow，梳理下来，简而言之，可以理解分而治之多线程的多处理核（cpu/gpu）的版本，涉及算力资源调度引入slurm，涉及通讯引入mpi。
还记得今年4月伯克利BAIR实验室发布的那个会“18般武艺”的DeepMimic模型吗？他们使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，走路、跑步就不用说了，还包括翻跟斗、侧翻跳、投球、高踢腿等等高能动作。
并行计算是在多个处理单元上同时执行计算任务的方法，以提高程序的性能。在 NumPy 中，可以使用一些工具和技术来进行并行计算，充分利用多核处理器的优势。在本篇博客中，我们将深入介绍 NumPy 中的并行计算，并通过实例演示如何应用这些技术。
ChainerCV是一个使用Chainer训练和运行神经网络以进行计算机视觉任务的工具集合。
近年来得益于其轻量、易学易用、第三方支持依赖库多的特点，Python 语言大量被用于机器学习相关的研究、项目开发。在学术界，有以 Scikit-Learn 为代表的全能机器学习库；在产业界，有以 TensorFlow、PyTorch 为代表的生产级机器学习模型计算框架。（当然，学术界实际上构建大规模深度学习模型时也会用到 PyTorch 等计算框架。）但对于大多数人来说，学习这些库、框架或者借助它们从事某些研究、项目开发时，可能还是在用自己的笔记本、台式机。哪怕是在高校的实验室里，这种事情也是屡见不鲜。因此，有交互界面、相对容易上手的 Anaconda 可能会作为大家管理 Python 环境的首选。
https://open.oceanbase.com/docs/observer-cn/V3.1.2/10000000000015567
GIL（global interpreter lock），全局解释器锁，是很多编程语言实现中都具有的特性，由于它的存在，解释器无法实现真正的并发。它也是 Python 中经常讨论的话题之一。
训练代码的开源路径：https://github.com/PaddlePaddle/PARL
还可以通过 add_done_callback 指定回调函数，当结果可用时，调用它（第一参数为 future obj）
可以说这两个问题一直困扰每一个学习者，为了解决这些问题，谷歌公司开源了AutoML(貌似收费)。此外还有Keras（后期详解），本篇文章介绍一个自动化学习包： DeepHyper
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
本章，我们学习另一种部署分布式Python应用的的方法。即使用高性能计算机（HPC）群（也叫作超级计算机），它们通常价值数百万美元（或欧元），占地庞大。 真正的HPC群往往位于大学和国家实验室，创业公司和小公司因为资金难以运作。它们都是系统巨大，有上万颗CPU、数千台机器。 经常超算中心的集群规模通常取决于电量供应。使用几兆瓦的HPC系统很常见。例如，我使用过有160000核、7000节点的机群，它的功率是4兆瓦！ 想在HPC群运行Python的开发者和科学家可以在本章学到有用的东西。不使用HPC群的读者，
在计算机科学中，程序运行效率是一个重要的考量因素。针对需要处理大量数据或复杂计算任务的程序，使用并行计算技术可以大幅度加速程序的运行速度。C++作为一种高性能的编程语言，提供了多种并行计算的工具和技术，可以帮助开发人员充分利用计算资源，提高程序的性能。
在前段时间 2022 世界人工智能大会（WAIC）上， OpenMMLab 基于新一代训练架构 MMEngine ，发布了全新的 OpenMMLab 2.0 视觉算法体系，详细见上一期内容。
新智元编译 来源：blog.otoro.net 作者：David Ha 编译：肖琴 【新智元导读】“世界模型”（World Models）是谷歌大脑研究科学家 David Ha 和 Swiss A
在上一篇文章中我们大致了解到了MPI的基本概念以及其运行原理，并且学习了一些简单的MPI通信函数以及例子。在本篇中我们将会以实现遗传算法为例子，讲解一些更深入的MPI概念以及函数并投入使用。
具体来讲，本文首先介绍了分布式计算的基本概念，以及分布式计算如何用于深度学习。然后，列举了配置处理分布式应用的环境的标准需求（硬件和软件）。最后，为了提供亲身实践的经验，本文从理论角度和实现的角度演示了一个用于训练深度学习模型的分布式算法（同步随机梯度下降，synchronous SGD）。
让AI通过预测，捕捉你「左手画龙，右手画彩虹」的动作，对于AI理解人类行为至关重要。
3D Human Pose Estimation（以下简称 3D HPE ）的目标是在三维空间中估计人体关键点的位置。3D HPE 的应用非常广泛，包括人机交互、运动分析、康复训练等，它也可以为其他计算机视觉任务（例如行为识别）提供 skeleton 等方面的信息。关于人体的表示一般有两种方式：第一种以骨架的形式表示人体姿态，由一系列的人体关键点和关键点之间的连线构成；另一种是参数化的人体模型（如 SMPL [2]），以 mesh 形式表示人体姿态和体型。
最近，字节跳动发布了一款通用高性能分布式训练框架 BytePS，该框架支持 TensorFlow、Keras、PyTorch 和 MXNet，并且可以在 TCP 或 RDMA 网络上运行。
测试是代码开发工具箱的核心组成部分。通过使用单元和集成测试进行自动化测试，不仅可以帮助开发者在早期检测功能回归，还可以作为新加入项目的开发者的起点。它可以帮助新开发者提交代码变更，并确保预期的功能得以保留。对于代码的用户来说，自动化测试在验证安装是否保留了代码功能方面至关重要。从一开始就为单元、模块或库使用测试的一个好处是，它可以引导程序员编写更加模块化和不那么复杂的代码结构，采用纯粹的、函数式的风格，最小化并局部化全局变量和全局状态。
针对目前国内Rosetta中文资源甚少、零散、求助难的问题，我搭建了一个Rosetta中文社区论坛(beta)。
本公众号之前发过几篇多组态（multi-configurational）方法的介绍：
TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。
这个系列是对DeepSpeed的教程做一下翻译工作，在DeepSpeed的Tutorials中提供了34个Tutorials。这些Tutorials不仅包含配置DeepSpeed完成分布式训练的标准流程，还包含一些DeepSpeed支持的一些Feature比如低比特优化器，Zero等等。最近有使用DeepSpeed做一些简单的模型训练实验的需求，所以开一下这个专题，尽量翻译完DeepSpeed的大多数Tutorials，不定期更新。这篇首先翻译一下Getting Started 和 Installation Details，CIFAR-10 Tutorial 这三个Tutorials。基于 PyTorch 2.0 版本运行 CIFAR-10 Tutorial 中碰到一些报错也给出了解决的方法。
1. 在安装依赖库的时候，遇到: @gxjun-Latitude-E5440:~$ sudo apt-get install libatlas-base-dev 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 libatlas-base-dev 已经是最新的版本了。 升级了 0 个软件包，新安装了 0 个软件包，要卸载 0 个软件包，有 419 个软件包未被升级。 有 4 个软件包没有被完全安装或卸载。 解压缩后会消耗掉 0 B 的额外
TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库，此类 DNN 需要分布式训练，并且在多个主机上使用多个 GPU。Amazon SageMaker 是一项托管服务，可通过主动学习、超参数优化、模型分布式训练、监控训练进展，部署培训模型作为自动扩展的 RESTful 服务，以及对并发 ML 实验进行集中式管理，从标签数据开始简化 ML 工作流。
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 这般丝滑的美食展示，是否让跟随镜头移动的你食指大动？ 再看这放大镜里流畅变化的弹簧，你敢相信，这完全是用静态图像合成的吗？ 没错，这样的动图并非截自视频，而是来自AI的合成大法。 甚至只需手机随手拍摄的十几张2D照片，就能实时渲染生成。 比起大名鼎鼎的谷歌前辈NeRF，这只名为NeX的AI，能直接把每秒渲染帧数从0.02帧提升到60帧。 也就是说，渲染速度能提升3个数量级。 细节之处，也更加接近真实效果。 这项已经入选CVPR 2021
我们非常高兴发布了PaddlePaddle V0.10.0版，并开放了新的Python API。 之前在v0.9.0版，完成一个训练或预测任务至少需要两份python文件，分别是定义数据生成器和定义网络拓扑结构的文件。用户通过运行paddle_trainer的C++程序来启动PaddlePaddle任务，该程序调用Python解释器来运行定义网络拓扑结构的文件，然后通过迭代加载数据生成器提供的小批量数据启动训练循环。这与Python的现代编辑方式不符，比如Jupyter Notebook。 新版的API被称
背景 随着 AI 模型规模的越来越大，训练数据的越来越多，用户对模型的迭代效率也要求越来越高，单个 GPU 的算力显然无法满足大部分业务场景，使用单机多卡或多机多卡训练成为趋势。单机多卡训练场景的参数同步借助目前 NVIDIA NVLINK 技术已经得到了很好地解决，而多机多卡场景由于对网络通信的强依赖就没有那么简单。 目前网卡厂商提供的 RoCE 等 RDMA 技术，使得多机通信效率大幅提升，但是如何在25G或 50G VPC 网络环境下提升分布式训练系统的通信效率，仍然是目前公有云厂商亟需解决的
AI 科技评论按：本文是 otoro.net 的系列技术博客之一，以通俗可视化的方法讲解了进化策略（Evolution Strategies）中的诸多概念。本篇介绍了如何使用进化策略来寻找前馈神经网络
IOR是一个并行的IO基准，可用于测试使用各种接口和访问模式的并行存储系统的性能。接口和访问模式的并行存储系统的性能。IOR资源库还包括mdtest基准，专门测试不同目录结构下存储系统的元数据峰值速率。在不同目录结构下存储系统的元数据峰值速率。这两个基准都使用一个共同的并行 I/O抽象后端，并依靠MPI进行同步。本文档由两部分组成。用户文档包括安装说明（Install），初学者教程（IOR的第一步），以及关于IOR的运行时选项的信息。开发者文档包括用Doxygen生成的代码文档和一些关于与Travis的连续整合的说明。IOR/mdtest用户和开发者文档的许多方面都是不完整的，我们鼓励贡献者 鼓励贡献者直接评论代码或在此基础上扩展文档。
本文以 PyTorch 官方文档 https://pytorch.org/tutorials/intermediate/dist_tuto.html 为基础，对如何编写分布式进行了介绍，并且加上了自己的理解。
ChatGPT 的横空出世开启了大语言模型 (LLM) 的普及元年，BERT、GPT-4、ChatGLM 等模型的非凡能力则展现出类似通用人工智能 (AI) 的巨大潜力，也因此得到了多行业、多领域的广泛关注。
冯克环，腾讯云异构计算研发工程师，专注于云上 AI 训练加速相关技术，对 GPU 虚拟化、GPU 训练加速有深厚的积累，目前负责腾讯云 AI 训练加速相关技术的研发以及性能优化工作。 张锐，腾讯云网络虚拟化研发工程师，在之前的工作中专注于 AI 训练网络优化方面的工作，在 RDMA、GPU 通信优化等方面有较多经验，目前专注于做云上AI训练通信优化方面的工作。 背景 随着 AI 模型规模的越来越大，训练数据的越来越多，用户对模型的迭代效率也要求越来越高，单个 GPU 的算力显然无法满足大部分业务场景，使
业界AI应用中，GPU的使用逐渐增加，腾讯云TACO是一种异构计算加速软件服务，搭配腾讯自研的软硬件协同优化组件和硬件厂商特有优化方案，支持物理机、云服务器、容器等产品的计算加速、图形渲染、视频转码各个应用场景，帮助用户实现全方位全场景的降本增效。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
