在计算机科学中，程序运行效率是一个重要的考量因素。针对需要处理大量数据或复杂计算任务的程序，使用并行计算技术可以大幅度加速程序的运行速度。C++作为一种高性能的编程语言，提供了多种并行计算的工具和技术，可以帮助开发人员充分利用计算资源，提高程序的性能。
1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进行连
作者 | 刘文志 责编 | 何永灿 随着深度学习（人工智能）的火热，异构并行计算越来越受到业界的重视。从开始谈深度学习必谈GPU，到谈深度学习必谈计算力。计算力不但和具体的硬件有关，且和能够发挥硬件能力的人所拥有的水平（即异构并行计算能力）高低有关。 一个简单的比喻是：两个芯片计算力分别是10T和 20T，某人的异构并行计算能力为0.8，他拿到了计算力为10T的芯片，而异构并行计算能力为0.4的人拿到了计算力为20T的芯片，而实际上最终结果两人可能相差不大。异构并行计算能力强的人能够更好地发挥硬件的能力，而
最近在做一些WRF-Chem的开发工作，对源码里面的一些东西似懂非懂，借助Chatgpt增加了一些直观的认识，分享一下。
在这学期的并行计算课程中，老师讲了OpenMP,MPI，CUDA这3种并行计算编程模型，我打算把相关的知识点记录下来，便于以后用到的时候查阅。
CFOUR程序的全称为Coupled-Cluster techniques for Computational Chemistry，是一款专注于高精度量子化学计算的程序。从名字可以看出，其专长为耦合簇方法，支持在CC级别下做单点、几何结构优化（如CCSD(T)级别）、激发态计算（如EOM-CCSDT）、性质计算（如CCSD(T)级别的NMR计算）。其官方网站为
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈ 前言 本文中作者使用MPI的Python接口mpi4py来将自己的遗传算法框架GAFT进行多
由于CASCI/CASSCF计算量随活性空间呈指数增长，超过(16,16)的计算在高配机器上几乎不可能。近似求解大活性空间的方法通常有DMRG, selected CI等等。Block-1.5是做DMRG计算的经典程序，由Sandeep Sharma和Garnet Chan开发，虽然早在5年前就不更新了，但其计算速度仍高于很多同类程序。Block-1.5一般结合PySCF使用，可以进行DMRG-CASCI，DMRG-CASSCF和DMRG-SC-NEVPT2等计算。笔者之前在公众号上将该程序的安装拆分为几篇短文
说到并行计算，我们有一个不可绕开的话题——MPI编程。MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。与OpenMP并行程序不同，MPI是一种基于信息传递的并行编程技术。消息传递接口是一种编程接口标准，而不是一种具体的编程语言。简而言之，MPI标准定义了一组具有可移植性的编程接口。
在上一篇文章中我们大致了解到了MPI的基本概念以及其运行原理，并且学习了一些简单的MPI通信函数以及例子。在本篇中我们将会以实现遗传算法为例子，讲解一些更深入的MPI概念以及函数并投入使用。
项目概览 马克西米兰•卡茨和亚当•雅各布斯是美国石溪大学物理与天文 学系的博士研究生，他们力图通过研究恒星爆炸的成因来探察 难于捉摸的暗能量。卡茨研究两个恒星残骸的合并，而雅各布 斯专注研究另一种模式：一个恒星残骸靠万有引力从伴星吸积 物质并再次爆炸。 为此，卡茨和雅各布斯致力于发展一个计算方法用来研究Ia型 超新星的起源。雅各布斯使用由Fortran开发的软件MAESTRO 来研究双爆起源模型。那些代码针对恒性爆炸的不同阶段做了优化。 卡茨使用CASTRO软件，一个三维可压缩流体动力学代码，专 为研究恒星
［导读］工业4.0、人工智能、大数据对计算规模增长产生了重大需求。近年来，中国高性能计算机得到突飞猛进的发展，从“天河二号”到“神威·太湖之光”，中国超级计算机在世界Top500连续排名第一。云计算、人工智能、大数据的发展对并行计算既是机遇又是挑战。如何提高应用的性能及扩展性，提高计算机硬件的使用效率，显得尤为重要。从主流大规模并行硬件到能够充分发挥其资源性能的并行应用，中间有着巨大的鸿沟。 本次讲座由清华-青岛数据科学研究院邀请到了北京并行科技股份有限公司研发总监黄新平先生，从高性能并行计算发展趋势，
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈— 前言 在高性能计算的项目中我们通常都会使用效率更高的编译型的语言例如C、C++、Fort
英特尔 Parallel Studio XE提供的先进工具可用于开发卓越的共享内存应用。使用这些工具开发的应用通常能够在计算机、服务器和集群上更快速地运行，而且可以在计算机和集群中很好地运行和扩展，同时能够提高效率，开发出更快速、更可靠的应用。最新版的Intel 编译器支持C11, C++14，C++17标准草案，以及Fortran 2008 标准和Fortran 2015 标准草案。 以下来自Intel官网： Intel announced the release of Intel Parallel St
CP2K安装的方法有很多（我们曾分享过CP2K 5.1版本的安装及简单介绍），笔者最近尝试在课题组新买的服务器上从源码编译安装CP2K，过程中遇到了各种问题。根据这次安装的经验，在此笔者想和大家分享如何从零开始安装CP2K（支持PLUMED）。
它从源字符串src复制字符到目标字符串dest，包括NULL字符（即字符串结束标志）。
Palace是一款开源的大规模计算电磁学软件包，由亚马逊云端业务实验室（AWS Lab）支持。功能丰富，同时能够在不同的高性能硬件上运行，软件上支持OpenMP, MPI和GPU并行计算。Apache的开源协议也是极为友好。详情参见《使用WELSIM生成电磁计算软件Palace的求解器文件》一文。
Dalton是一款开源免费的量子化学程序，主要特色是支持一大堆性质的计算，例如DFT下的二次响应计算（常规TDDFT计算仅是线性相应），MCSCF波函数下的核磁NMR计算等等，以及各类激发态方法。当然，也有一些高精度单参考方法（如MP2-R12和CCSD-R12等），但较少用到。其PDF手册在
在当今多核处理器的时代，利用并行计算的能力以最大化性能已成为程序员的重要任务之一。OpenMP 是一种并行编程模型，可以让我们更容易地编写多线程程序。本文将深入浅出地探讨 OpenMP 的工作原理、基本语法和实际应用。
1.循环语句中的循环变量必须是有符号整形，如果是无符号整形就无法使用，OpenMP3.0中取消了这个约束
这个项目是一次课程作业，要求是写一个并行计算框架，本人本身对openmp比较熟，
1、前言 这个项目是一次课程作业，老师要求写一个并行计算框架，本人本身对openmp比较熟，加上又是scala 的爱好者，所以想了许久，终于想到了用scala来实现一个类似openmp的一个简单的并行计算框架。 项目github地址：ScalaMp 2、框架简介 该并行计算框架是受openmp启发，以scala语言实现的一个模仿openmp基本功能的简单并行计算框架， 该框架的设计目标是，让用户可以只需关心并行的操作的实现而无需考虑线程的创建和管理。本框架实现了最 基本的并行代码块和
Python在处理大的数据集的时候总是速度感人。代码一旦开始运行，剩下的时间只好满心愧疚地刷手机。
在理想情况下，编译器使用自动并行化能够管理一切事务，使用OpenMP指令的一个优点是将并行性和算法分离，阅读代码时候无需考虑并行化是如何实现的。当然for循环是可以并行化处理的天然材料，满足一些约束的for循环可以方便的使用OpenMP进行傻瓜化的并行。
作者：gnuhpc 出处：http://www.cnblogs.com/gnuhpc/
專 欄 ❈Pytlab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈— 前言 并行计算是使用并行计算机来减少单个计算问题所需要的时间，我们可以通过利用编程语言显
机器之心投稿 作者：猿辅导研究团队语音识别负责人夏龙、机器学习工程师吴凡 近期，猿辅导公司开源了两个机器学习项目—ytk-learn, ytk-mp4j，其中 ytk-mp4j 是一个高效的分布式通信库，基于该通信库我们实现了 ytk-learn 分布式机器学习库，该机器学习库目前在猿辅导很多应用场景中使用，比如，自适应学习、学生高考分预测、数据挖掘、课程推荐等。 ytk-learn 分布式机器学习库 项目背景 LR(Logistic Regression), GBDT(Gradient Boosting
本文讲介绍如何用容器技术（Docker）快速安装GPU版GAMESS，并演示如何进行实际计算。
intel的超线程技术能让一个物理核上并行执行两个线程，大多数情况下能提高硬件资源的利用率，增强系统性能。对于cpu密集型的数值程序，超线程技术可能会导致整体程序性能下降。鉴于此，执行OpenMP或者MPI数值程序时建议关闭超线程技术。
Intel oneAPI 是一种统一的跨架构的的编程模型，提供了CPU、GPU、FPGA、专用加速器的产品。
2017年7月31日，高性能计算领域专业媒体HPCwire发表文章，介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。 将适应于特定问题的深层神经网络扩展到具有数千个节点的大型系统是一项具有挑
Eclipse的设计思想是：一切皆插件。Eclipse核心很小，其它所有功能都以插件的形式附加于Eclipse核心之上。
OpenMP 是基于共享内存模式的一种并行编程模型, 使用十分方便, 只需要串行程序中加入OpenMP预处理指令, 就可以实现串行程序的并行化. 这里主要进行一些学习记录, 使用的书籍为: Using OpenMP: Portable Shared Memory Parallel Programming 和OpenMP编译原理及实现技术
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 知乎专栏：化学狗码砖的日常 blog：http://pytlab.org github：https://github.com/PytLab ❈ 前言 前段时间一直在用自己写的遗传算法框架测试算法在优化力场参数的
高性能计算领域专业媒体HPCwire发表文章，介绍了英特尔研究人员对人工智能与高性能计算结合的技术展望。 将针对特定问题的深度神经网络扩展到具有数千个节点的大型系统是一项具有挑战性的工作。事实上，这是将人工智能（AI）和高性能计算（HPC）进行融合时面临的几个障碍之一。英特尔院士（Intel Fellow）、英特尔并行计算实验室（Parallel Computing Lab）主管撰写了一篇博客，描述英特尔为了更好地了解和解决这个问题所做的努力，并承诺将在2017年全球超级计算大会（SC2017）上提
随着计算机的计算能力和运行规模的不断提升，基于第一性原理计算理论的计算材料学科越来越得到重视。但是一般来说这样的模拟需要对一个包含成千上万的原子、电子而言，所需的计算框架是非常复杂的，计算代价是相当昂贵的。比如为人所熟知的商用类型第一性原理计算框架 VASP 授权通常需要五六万人民币以上，而且在一个普通超算集群上计算一个完整的体系结构可能需要几周，甚至几个月。无论是软件授权成本，还是时间成本，都比较高昂。对于想学习和实践第一性原理计算的小伙伴而言，当然也有比较节省的方式。首先软件可以选用免费的开源第一性原理计算框架，比如说本文中即将介绍到的 CONQUEST，以及 ABINT，SMASH 和 QUANTUM ESPRESSO 等。
OpenMP标准定义了内部控制变量(internal control variables), 这些变量可以影响程序运行时的行为, 但是它们不能被直接访问或者修改, 我们需要通过OpenMP函数或者环境变量来访问或者修改它们, 下面是被定义的内部变量
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 知乎专栏：化学狗码砖的日常 blog：http://pytlab.org github：https://github.com/PytLab ❈ 前言 最近需要用到遗传算法来优化一些东西，最初是打算直接基于某些算
在C++中使用openmp进行多线程编程 - DWVictor - 博客园 (cnblogs.com)
GPU世界：这次非常感谢风辰大神能来到GPU世界来做专访。之前就听说风辰已经活跃于OpenGPU等专业的并行计算社区，对于并行计算领域也从事了好多年，在此是否能请您进一步介绍一下自己以及自己所属的这一行业？ 风辰：我叫刘文志，网名风辰，毕业于中科院研究生院，毕业后在英伟达干了近三年；之后在百度IDL异构计算组跟着吴韧老师；现在在一家深度学习创业公司做异构并行计算相关的内容。 在深度学习领域，无论是训练还是部署对计算能力的需求都非常大。一次训练使用单X86 CPU来做，可能需要一年，使用８核CPU来做，也需
linux环境下，使用MIC架构的Xeon Phi（至强融核）协处理器进行进行host+mic编程时，源程序运行的毫无问题，但将其通过ar命令生成静态连接库供其他应用程序使用时，就会出现offload error: cannot find offload entry错误。
密码都正确之后你会进入到 login 节点，在这里千万不能随意执行大规模的计算任务，因为很有可能会被封号。你需要使用 compute 节点执行计算任务。
0x00 前言 本篇是MPI的入门教程，主要是为了简单地了解MPI的设计和基本用法，方便和现在的Hadoop、Spark做对比，并尝试理解它们之间在设计上有什么区别。 身处Hadoop、Spark这些优秀的分布式开发框架蓬勃发展的今天，老的分布式编程模型是否没有必要学习？这个很难回答，但是我更倾向于花一个下午的时候来学习和了解它。 关于并发和并行编程系列的文章请参考文章集合 文章结构 举个最简单的例子，通过这个例子让大家对MPI有一个基本的理解。 解释一些和MPI相关的概念。 列举一些MPI的常用函数
OpenMP 是一种支持共享存储并行设计的库，特别适宜在多核CPU上的并行程序设计
在技术进步日新月异的当代，各类 Al 芯片、硬件加速器不断涌现，异构计算已经成为整个行业最重要的趋势。对于普通的软件工程师或算法工程师而言，了解和掌握这些硬件开发知识几乎是不可能的。 为了解决这一难题，oneAPI提供了一个通用、开放的编程体验，让开发者只需要开发一次代码，就可以让其在跨平台的异构系统上执行，底层的硬件架构可以是CPU、GPU、FPGA，神经网络处理器或其他针对不同应用的硬件加速器等。同时，开放的行业标准为未来提供了一条安全、清晰的道路。与现有的语言和编程模型兼容，包括 C++、Python
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。
在高性能计算中，经常会用到MPI或者MPI-IO，那MPI和MPI-IO到底是什么呢？
以上两种写法完全等效，需要指出的是：FORALL只能用于数组操作，也就是说，赋值符号两边只能是数组。然而在实际使用中，FORALL结构的运算速度并不比do循环快，有时甚至比do循环还慢不少。以下是Intel Fortran编译器的官方文档说明
还记得今年4月伯克利BAIR实验室发布的那个会“18般武艺”的DeepMimic模型吗？他们使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，走路、跑步就不用说了，还包括翻跟斗、侧翻跳、投球、高踢腿等等高能动作。
Allinea软件于2015年3月份宣布其调试和性能调优工具套件Allinea Forge支持CUDA 7.0，同时在它的性能分析器和分析工具里集成GPU利用率测量功能。 开发者可以在Allinea Forge5.0.1版本里看到对CUDA7.0的支持——一直以来Allinea都是在第一时间支持CUDA最新的版本。AllineaForge包括Allinea DDT 调试器和Allinea MAP分析器，被广泛用于滴滴涕Allinea调试器和Allinea MAP分析器，被广泛用于开发高性能混合CP
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
