减少编程工作、更多地关注科学本身 全球视觉计算技术行业领袖NVIDIA®（英伟达™）今日发布了全新OpenACC工具套件，通过这款全新的套件，未来科学研究将可以做更多事情，并大幅提升计算效率。 虽然计算核心在短时间内不会变得更快，但处理器的并行计算能力则越来越强大。这一趋势在过去的十年里一直存在，而且还会持续下去。 OpenACC现已在HPC行业中得到广泛支持，因为它能够简化GPU等现代处理器的并行编程。自2011年Cray、PGI以及NVIDIA等领先的HPC供应商推出OpenACC编程标准以来，如今已有
这文档堪称CUDA官方手册里最有用TOP3了。 ps:全文翻译会累死猿哒，意译意译，各位看官凑合一下啦 前言 文档的作用 这文档能干嘛，是用来帮助开发者从NVIDIA GPU上获取最好的性能的。建
对于CUDA Fortran用户来说，PGI编译器是必然要用到的。 其实PGI编译器不仅仅可以支持Fortran，还可以支持C/C++。而对于集群用户来说，要将上万行的代码加速移植到GPU集群上，PG
OpenACC GPU Hackathon是一项为期5天的面向高端GPU用户的专业培训活动，参加活动的队伍（3-5名队员）带着由自己开发的HPC应用代码过来参加，目标是在5天的活动里，将应用通过OpenACC或者CUDA移植到GPU上。每个队伍将会配备2位具有丰富经验的GPU并行化工程师作为现场导师，在5天的过程中，导师将现场手把手指导学院使用OpenACC或者CUDA帮助学员移植并优化代码。该活动是一次给予HPC用户在短期内提升其应用在GPU上的应用水平的机会，同时也为他们下一阶段的深度优化提供了良好的基础，最终提升国内自主开发的GPU应用的水平。
在 QCon Plus 大会上，Juan Fumero 谈到了 TornadoVM，一种 Java 虚拟机（JVM）高性能计算平台。Java 开发人员可以通过它在 GPU、FPGA 或多核 CPU 上自动运行程序。
2015元宵隔天，也是北京两会热烈提案期间，由美商AMD、港商蓝宝石科技、景丰电子于深圳北方大厦举办“GPU/OpenCL并行计算大趋势”研讨会，吸引近百位来自北京、天津、上海、南京以及深圳当地商业单位之技术人员、部门主管参与，其中AMD资深软件经理陆璐博士展示基于Firepro高性能GPU计算卡的OpenCL/DNN（深度学习）技术与方案，成为众人最关注的焦点，此外吉浦迅科技CEO陈泳翰受邀介绍GPU并行计算的性价比、节能等特色，以及OpenCL+OpenACC异构并行编程模型，也是商业单位极
GPU世界：这次非常感谢风辰大神能来到GPU世界来做专访。之前就听说风辰已经活跃于OpenGPU等专业的并行计算社区，对于并行计算领域也从事了好多年，在此是否能请您进一步介绍一下自己以及自己所属的这一行业？ 风辰：我叫刘文志，网名风辰，毕业于中科院研究生院，毕业后在英伟达干了近三年；之后在百度IDL异构计算组跟着吴韧老师；现在在一家深度学习创业公司做异构并行计算相关的内容。 在深度学习领域，无论是训练还是部署对计算能力的需求都非常大。一次训练使用单X86 CPU来做，可能需要一年，使用８核CPU来做，也需
LightGBM是一种高效的梯度提升决策树算法，通过并行化和分布式训练，可以加速模型训练过程，特别是在处理大规模数据集时。本教程将详细介绍如何在Python中使用LightGBM进行并行化和分布式训练，并提供相应的代码示例。
有些分析需要很长时间，因为它在单个处理器上运行并且有大量数据需要处理。如果数据可以分成块并单独处理，那么问题就被认为是可并行化的。
项目概览 马克西米兰•卡茨和亚当•雅各布斯是美国石溪大学物理与天文 学系的博士研究生，他们力图通过研究恒星爆炸的成因来探察 难于捉摸的暗能量。卡茨研究两个恒星残骸的合并，而雅各布 斯专注研究另一种模式：一个恒星残骸靠万有引力从伴星吸积 物质并再次爆炸。 为此，卡茨和雅各布斯致力于发展一个计算方法用来研究Ia型 超新星的起源。雅各布斯使用由Fortran开发的软件MAESTRO 来研究双爆起源模型。那些代码针对恒性爆炸的不同阶段做了优化。 卡茨使用CASTRO软件，一个三维可压缩流体动力学代码，专 为研究恒星
为针对高效能运算，并加入全新效能及简易程序功能，并行计算编译器与开发工具 PGI 即日起推出全新 PGI 2014 编译器，新版本针对 NVIDIA 和 AMD GPU 加速器加入 OpenACC 2.0 功能，为多核心 x64 提供效能增益，其中包括 NVIDIA Tesla K40 GPU 加速器，也是 OpenACC 首次支援 AMD Radeon GPU 和 APU 。 PGI 2014 编译器与工具 相较于采用最新 AVX 型多核心 Intel 和 AMD x64 处理器的 GCC 编译器
本书示例代码适用于Python 3.5及以上。 ---- 当代第一台数字计算机诞生于上世纪30年代末40年代初（Konrad Zuse 1936年的Z1存在争议），也许比本书大多数读者都要早，比作者本人也要早。过去的七十年见证了计算机飞速地发展，计算机变得越来越快、越来越便宜，这在整个工业领域中是独一无二的。如今的手机，iPhone或是安卓，比20年前最快的电脑还要快。而且，计算机变得越来越小：过去的超级计算机能装下整间屋子，现在放在口袋里就行了。 这其中包括两个重要的发明。其一是主板上安装多块处理器（每个
OpenPOWER：X86的另一种选择 2013年8月6日，谷歌、IBM、Tyan、NVIDIA和Mellanox一起创立了后来被称之为OpenPOWER基金会的组织，这个组织的目的是就把IBM Power服务器芯片架构开放出来，以类似ARM开放移动芯片知识产权的方式，重新组建一个服务器芯片产业。 众所周知，OpenPOWER的目标是创建一个围绕IBM Power处理器架构的软硬件生态系统，从而提供一个替代英特尔系统方案。与英特尔至强服务器系列芯片不同，IBM Power是基于高端RIS
《Java8 Stream编码实战》的代码全部在https://github.com/yu-linfeng/BlogRepositories/tree/master/repositories/stream-coding，一定要配合源码阅读，并且不断加以实践，才能更好的掌握Stream。
【新智元导读】国际高性能计算应用领域最高奖——戈登贝尔奖今年的终选名单公布，一共三篇论文中有两篇来自中国、基于“神威·太湖之光”。 国际高性能计算应用领域最高奖戈登贝尔奖今年的终选名单已公布，有三篇论文入围。其中有两篇来自中国、基于“神威·太湖之光”应用的论文。第三篇是来自普渡大学的三维图像重建论文。奖项将于11月16日在丹佛宣布，得奖者将获得10000美元的奖励。 “戈登贝尔奖认可了每年在科学、工程、大数据分析方面并行计算创新应用所取得的进步。本奖项或对在重大科学和工程问题的可拓展性和时间解决方案上取得的
这是新的系列教程，在本教程中，我们将介绍使用 FPGA 实现深度学习的技术，深度学习是近年来人工智能领域的热门话题。
近年来，深度学习已经成功应用到多种问题中。迁移学习在计算机视觉问题上的成功运用使得许多应用成为可能：VGG[6] 和 ResNets [7] 等大型 CNN 在 ImageNet 等大型图像数据集上进行预训练 [8,9] 然后在计算机视觉任务中作为骨干网络架构。这些模型可以为新任务提取有用的特征，而无需在执行每个任务时都从头开始训练 [2], [10]–[12]。
每个数据科学项目迟早都会面临一个不可避免的挑战：速度问题。使用更大的数据集会导致处理速度变慢，因此最终必须想办法优化算法的运行时间。正如你们大多数人已经知道的，并行化是这种优化的必要步骤。python 为并行化提供了两个内置库：多处理和线程。在这篇文章中，我们将探讨数据科学家如何在两者之间进行选择，以及在这样做时应注意哪些因素。
这里是Hamid，我来自PyTorch合作伙伴工程部。我将跟随Mark的讨论，讲解如何在TorchServe上提供LLMs的分布式推理和其他功能。首先，为什么需要分布式推理呢？简单来说，大部分这些模型无法适应单个GPU。
在当今多核处理器的时代，利用并行计算的能力以最大化性能已成为程序员的重要任务之一。OpenMP 是一种并行编程模型，可以让我们更容易地编写多线程程序。本文将深入浅出地探讨 OpenMP 的工作原理、基本语法和实际应用。
Chris Penner最近发表的这篇文章——用80行Haskell代码击败C（https://chrispenner.ca/posts/wc），在互联网上引起了相当大的争议，从那以后，尝试用各种不同的编程语言来挑战历史悠久的C语言版wc命令（译者注：用于统计一个文件中的行数、字数、字节数或字符数的程序命令）就变成了一种大家趋之若鹜的游戏，可以用来挑战的编程语言列表如下：
作为一名程序员，应当具有挑战精神，才能写出“完美”的代码。挑战历史悠久的C语言版wc命令一向是件很有趣的事。今天，我们就来看一下如何用70行的Go代码打败C语言版wc命令。
过去十年来，深度学习领域发展迅速，其一大主要推动力便是并行化。通过 GPU 和 TPU 等专用硬件加速器，深度学习中广泛使用的矩阵乘法可以得到快速评估，从而可以快速执行试错型的深度学习研究。
https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html 来阅读原文。
在这篇博文中，我们来探讨循环网络模型和前馈模型之间的取舍。前馈模型可以提高训练稳定性和速度，而循环模型表达能力更胜一筹。有趣的是，额外的表现力似乎并没有提高循环模型的性能。
不论是各处霸榜的谷歌BERT、OpenAI最近的强大NLP模型GPT-2，还是DeepMind击败星际2顶尖职业玩家的AlphaStar，背后都有 Transformer的身影。
前文讲到Selenium并行测试基础，本文将分享一些并行测试实践相关内容。主要以理论为主，各位如何像了解代码和项目实践细节的可参考之前的文章：
大家可以访问：https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html 来阅读原文。
默认情况下，它使用 NIST 的漏洞数据库 （NVD），并在终端中提供具有不同主题选项的搜索和列表功能。
这篇论文介绍了一种名为xLSTM（Extended Long Short-Term Memory）的新型递归神经网络架构，旨在解决传统LSTM（Long Short-Term Memory）网络的一些局限性，并提高其在语言建模等任务中的性能。
我们在日常工作中经常要“批量”处理一些任务，比如“批量”解压目录下的gz文件。当然，用shell写一个for循环是很简单就可以实现的，比如下面这样：
之前微信公众号里有一位叫sara的朋友建议我写一下Parallel的相关内容，因为手中商城的重构工作量较大，一时之间无法抽出时间。近日，这套系统已有阶段性成果，所以准备写一下Parallel的相关内容，正好也延续之前的C#并发编程系列。
沿用微软的写法，System.Threading.Tasks.::.Parallel类，提供对并行循环和区域的支持。 我们会用到的方法有For，ForEach，Invoke。
OpenMP是一种用于并行编程的开放标准，它旨在简化共享内存多线程编程的开发过程。OpenMP提供了一组指令和库例程，可以将顺序程序转换为可并行执行的代码。
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈ 前言 本文中作者使用MPI的Python接口mpi4py来将自己的遗传算法框架GAFT进行多
转自：https://www.cnblogs.com/sorex/archive/2010/09/16/1828214.html
【新智元导读】如何有效训练RNN是一个活跃的研究领域，有很多方法，但还没有哪种表现出了明显的优势，因此也让今天要介绍的这项工作值得注意。来自ASAPP公司和MIT的两位研究人员提出了一种名为“简单循环单元”（Simple Recurrent Unit，SRU）的结构，对现有门控单元做了调整，简化了状态计算的过程，从而展现出了与CNN、注意力和前馈网络相同的并行性。实验结果表明，SRU训练速度与CNN一样，并在图像分类、机器翻译、问答、语音识别等各种不同任务中证明了有效性。 项目已经开源：https://gi
在本节中，我们使用 Dask 和 dask.delayed 并行化简单的 for 循环样例代码。通常，这是将函数转换为与 Dask 一起使用所需的唯一函数。
在理想情况下，编译器使用自动并行化能够管理一切事务，使用OpenMP指令的一个优点是将并行性和算法分离，阅读代码时候无需考虑并行化是如何实现的。当然for循环是可以并行化处理的天然材料，满足一些约束的for循环可以方便的使用OpenMP进行傻瓜化的并行。
机器之心报道 机器之心编辑部 Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上呈线性增长，但由于并行化和可扩展性的限制，很难达到与 Transformer 相同的性能水平。本文提出了一种新颖的模型架构，Receptance Weighted Key Value（RWKV），将 Transformer 的高效可并行训练与 RNN 的高效推理相结合。实验证明，RWKV 的性能与相同
想必热爱游戏的同学小时候，都幻想过要是自己要是能像鸣人那样会多重影分身之术，就能一边打游戏一边上课了，可惜漫画就是漫画，现实中并没有这个技术，你要么只有老老实实的上课，要么就只有逃课去打游戏了。虽然在现实中我们无法实现多重影分身这样的技术，但是我们可以在计算机世界中实现我们这样的愿望。
PTE（Parallel Transaction Executor，一种基于 DAG 模型的并行交易执行器）的引入，使 FISCO BCOS 具备了并行执行交易的能力，显著提升了节点交易处理的效率。
2018 年的大部分时间我都在试图训练神经网络时克服 GPU 极限。无论是在含有 1.5 亿个参数的语言模型（如 OpenAI 的大型生成预训练 Transformer 或最近类似的 BERT 模型）还是馈入 3000 万个元素输入的元学习神经网络（如我们在一篇 ICLR 论文《Meta-Learning a Dynamical Language Model》中提到的模型），我都只能在 GPU 上处理很少的训练样本。
Transformer是一类神经网络架构，现在越来越受欢迎了。Transformer最近被OpenAI用于训练他们的语言模型，同时也被DeepMind的AlphaStar 采用，用于他们的程序击败那些顶级星际玩家。
来源：编程派 翻译：caspar 译文：https://segmentfault.com/a/1190000000414339 原文：https://medium.com/building-things-on-the-internet/40e9b2b36148 本文长度为5200字，建议阅读8分钟 本文教你通过一行Python实现并行化。 Python在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和GIL，我觉得错误的教学指导才是主要问题。常见的经典Python多线程、多进程教程多显
Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm，人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba（一种状态空间模型）。
合并排序，顾名思义，就是通过将两个有序的序列合并为一个大的有序的序列的方式来实现排序。合并排序是一种典型的分治算法：首先将序列分为两部分，然后对每一部分进行循环递归的排序，然后逐个将结果进行合并。
译者：caspar 译文：https://segmentfault.com/a/1190000000414339 原文：https://medium.com/building-things-on-the-internet/40e9b2b36148 Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。 传统的例子 简单搜
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
