分治算法的基本思想是将一个大问题分解成若干个子问题，递归地解决每个子问题，然后将每个子问题的解合并起来得出整个问题的解。分治算法的基本步骤为：
并行计算是在多个处理单元上同时执行计算任务的方法，以提高程序的性能。在 NumPy 中，可以使用一些工具和技术来进行并行计算，充分利用多核处理器的优势。在本篇博客中，我们将深入介绍 NumPy 中的并行计算，并通过实例演示如何应用这些技术。
对于大多数问题，并行计算确实可以提高计算速度。 随着PC计算能力的提高，我们可以通过在PC中运行并行代码来简单地提升计算速度。Joblib就是这样一个可以简单地将Python代码转换为并行计算模式的软件包，它可非常简单并行我们的程序，从而提高计算速度。
欢迎开始学习GPU入门课程！GPU（图形处理器）在计算机科学和深度学习等领域有着广泛的应用。以下是一个适用于初学者的GPU入门学习课程目录，帮助了解GPU的基本概念、架构和编程：
注：不少学过点编程语言的人，都会抱怨 Python 语言的程序执行速度慢，因此对学习和使用此语言嗤之以鼻。暂且不论程序的执行速度是否是开发者追求的唯一目标（有意对此进行争论的，请参阅人民邮电出版社出版的《编程的原则》一书），单就提升 Python 计算速度而言，并行计算是一个重要的选项。本文即为这方面的入门资料。
学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多，只要理解其大体流程，然后用python代码模拟主要流程来熟悉其思想。 还是以单词统计为例，如果使用hadoop流程实现，则如下图。
Python由于其易用性而成为最流行的语言，它提供了许多库，使程序员能够开发更强大的软件，以并行运行模型和数据转换。
使用TensorFlow的基本步骤一般为：定义计算图，执行计算图，查看计算图(可选)。
AI （Artificial Intelligence）人工智能及机器学习（Machine Learning）最近大热，Google - Deep Mind的AlphaGo踢馆人类所向披靡，最终宣布正式进入智能时代1.0。我们今天也来体验学习一下Google的人工智能项目。 1. Jeff Dean 老传统，我们先来看看这位Google TensoFlow的主要负责人，在加州山景城除了拉里佩奇Larry Page和布林Sergey Brin，Google数一数二，被用来打造下一代Google核心大脑的（Go
專 欄 ❈PytLab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈— 前言 在高性能计算的项目中我们通常都会使用效率更高的编译型的语言例如C、C++、Fort
NumPy（Numerical Python）是一个强大的Python库，用于进行科学计算和数值操作。它提供了高性能的多维数组对象（numpy.array）以及用于处理这些数组的各种函数。NumPy是许多数据科学和机器学习库的基础，如Pandas、SciPy和Scikit-learn等。本文将深入介绍NumPy库的使用，包括数组的创建、操作、数学运算、统计分析等方面。
［导读］工业4.0、人工智能、大数据对计算规模增长产生了重大需求。近年来，中国高性能计算机得到突飞猛进的发展，从“天河二号”到“神威·太湖之光”，中国超级计算机在世界Top500连续排名第一。云计算、人工智能、大数据的发展对并行计算既是机遇又是挑战。如何提高应用的性能及扩展性，提高计算机硬件的使用效率，显得尤为重要。从主流大规模并行硬件到能够充分发挥其资源性能的并行应用，中间有着巨大的鸿沟。 本次讲座由清华-青岛数据科学研究院邀请到了北京并行科技股份有限公司研发总监黄新平先生，从高性能并行计算发展趋势，
在当今大数据时代，处理和分析海量数据对于企业和组织来说至关重要。而Python作为一种功能强大且易于学习和使用的编程语言，具有许多特性使其成为处理大数据的理想选择。
我们在日常使用Python进行各种数据计算处理任务时，若想要获得明显的计算加速效果，最简单明了的方式就是想办法将默认运行在单个进程上的任务，扩展到使用多进程或多线程的方式执行。
ForkJoin框架是Java并发包(java.util.concurrent)的一部分，主要用于并行计算，特别适合处理可以递归划分成许多子任务的问题，例如大数据处理、并行排序等。该框架的核心思想是将一个大任务拆分成多个小任务（Fork），然后将这些小任务的结果汇总起来（Join），从而达到并行处理的效果。
当在使用深度学习框架如TensorFlow、PyTorch等进行GPU加速计算时，有时你可能会遇到 CUDNN_STATUS_NOT_INITIALIZED 的错误。这个错误通常是由于一些基础设置或配置问题引起的，下面将介绍解决这个问题的几种方法。
转自：https://www.cnblogs.com/sorex/archive/2010/09/16/1828214.html
在介绍这节之前，首先给定一个情景方便理解，就是因为某种原因我们需要从扑克牌中选出方块的牌。
PyTorch是一个开源的Python机器学习库，其前身是著名的机器学习库Torch。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch，它是一个面向Python语言的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce等机构采用。作为经典机器学习库Torch的端口，PyTorch 为 Python 语言使用者提供了舒适的深度学习开发选择。
Dask是一个用于并行计算的强大工具，它旨在处理大规模数据集，将数据拆分成小块，并使用多核或分布式系统并行计算。Dask提供了两种主要的数据结构：Dask.array和Dask.dataframe。在本文中，我们将重点介绍Dask.array，它是Dask中用于处理多维数组数据的部分。
在数据科学计算、机器学习、以及深度学习领域，Python 是最受欢迎的语言。Python 在数据科学领域，有非常丰富的包可以选择，numpy、scipy、pandas、scikit-learn、matplotlib。
双调排序是data-independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。
沿用微软的写法，System.Threading.Tasks.::.Parallel类，提供对并行循环和区域的支持。 我们会用到的方法有For，ForEach，Invoke。
Lambda表达式是Python中的一种匿名函数，它允许您快速定义简单的函数而无需显式地使用def关键字。Lambda表达式的语法非常简洁，由lambda关键字引导，后跟参数列表和一个表达式。
大规模算法旨在解决庞大的复杂问题。大规模算法的特征是由于其数据规模和处理要求的缘故，需要多个执行引擎。本章首先讨论了什么类型的算法最适合并行运行。然后，讨论了与并行化算法相关的问题。接下来，介绍了计算统一设备架构（CUDA）架构，并讨论了如何使用单个图形处理单元（GPU）或一组 GPU 来加速算法。还讨论了需要对算法进行哪些更改才能有效利用 GPU 的性能。最后，本章讨论了集群计算，并讨论了 Apache Spark 如何创建弹性分布式数据集（RDDs）以创建标准算法的极快并行实现。
在之前的博客中我们介绍过concurrent等python多进程任务的方案，而之所以我们又在考虑MPI等方案来实现python并行计算的原因，其实是将python的计算任务与并行计算的任务调度分层实现。在concurrent和multiprocessing等方案中，我们的python计算任务和调度任务是一体化的，而且还有一个比较大的限制是没办法跨节点操作的，这对于任务与环境的定制化程度要求是比较高的。而MPI的方案在设计初期就考虑到了多节点之间通信的问题，而这种分层式的任务调度解决方案其实在架构上看也更加的合理。做计算的人只要考虑单个进程下的任务如何执行就可以了，至于任务如何并行如何调度，那就是上层的MPI该做的事情了。
cpu (central process) 是计算机的大脑，它提供了一套指令集，我们写的程序最终会通过 cpu 指令来控制的计算机的运行。
ForkJoinPool类是Java中用于支持Fork/Join框架的关键类。它提供了一种用于并行执行任务的机制，通常用于处理递归划分的任务。ForkJoinPool类允许将大任务拆分成更小的子任务，然后并行执行这些子任务，并最终将结果合并起来。
專 欄 ❈Pytlab，Python 中文社区专栏作者。主要从事科学计算与高性能计算领域的应用，主要语言为Python，C，C++。熟悉数值算法(最优化方法，蒙特卡洛算法等）与并行化 算法（MPI,OpenMP等多线程以及多进程并行化）以及python优化方法，经常使用C++给python写扩展。 blog：http://ipytlab.com github：https://github.com/PytLab ❈— 前言 并行计算是使用并行计算机来减少单个计算问题所需要的时间，我们可以通过利用编程语言显
Dask 是一个开源库，旨在为现有 Python 堆栈提供并行性。Dask 与 Python 库（如 NumPy 数组、Pandas DataFrame 和 scikit-learn）集成，无需学习新的库或语言，即可跨多个核心、处理器和计算机实现并行执行。
本书示例代码适用于Python 3.5及以上。 ---- 当代第一台数字计算机诞生于上世纪30年代末40年代初（Konrad Zuse 1936年的Z1存在争议），也许比本书大多数读者都要早，比作者本人也要早。过去的七十年见证了计算机飞速地发展，计算机变得越来越快、越来越便宜，这在整个工业领域中是独一无二的。如今的手机，iPhone或是安卓，比20年前最快的电脑还要快。而且，计算机变得越来越小：过去的超级计算机能装下整间屋子，现在放在口袋里就行了。 这其中包括两个重要的发明。其一是主板上安装多块处理器（每个
Numpy和Pandas的区别 Numpy是数值计算的扩展包，能够高效处理N维数组，即处理高维数组或矩阵时会方便。Pandas是python的一个数据分析包，主要是做数据处理用的，以处理二维表格为主。但注意这不是说Numpy就处理不了二维数据，它也可以处理。 Numpy只能存储相同类型的array，Pandas能处理不同类型的数据，例如二维表格中不同列可以是不同类型的数据，一列为整数一列为字符串。 Numpy支持并行计算，所以TensorFlow2.0、PyTorch都能和numpy能无缝转换。Numpy底
训练代码的开源路径：https://github.com/PaddlePaddle/PARL
关键时刻，第一时间送达！ 【CSDN 编者按】在数据科学领域，你最常用的编程语言是哪种？对此，不同职业背景下的开发者答案各尽不同，一般来说，Python 和 R 语言是需要重点掌握的，但是如今有一枝独秀悄然而至，其创作理念是像 Python 一样通用、像 R 语言一样适用于统计、像 Perl 一样适用于字符串处理、像线性代数 Matlab 一样强大、像 Shell 一样擅长粘合程序，且可以像 C 语言一样高效，它的名字叫做——Julia。如今，在面对 Python 俨然已成为数据科学和机器学习领域的中流砥柱
作者 | 刘文志 责编 | 何永灿 随着深度学习（人工智能）的火热，异构并行计算越来越受到业界的重视。从开始谈深度学习必谈GPU，到谈深度学习必谈计算力。计算力不但和具体的硬件有关，且和能够发挥硬件能力的人所拥有的水平（即异构并行计算能力）高低有关。 一个简单的比喻是：两个芯片计算力分别是10T和 20T，某人的异构并行计算能力为0.8，他拿到了计算力为10T的芯片，而异构并行计算能力为0.4的人拿到了计算力为20T的芯片，而实际上最终结果两人可能相差不大。异构并行计算能力强的人能够更好地发挥硬件的能力，而
所谓海量，就是数据量很大，可能是TB级别甚至是PB级别，导致无法一次性载入内存或者无法在较短时间内处理完成。面对海量数据，我们想到的最简单方法即是分治法，即分开处理，大而化小，小而治之。我们也可以想到集群分布式处理。
CUDA是一种通用的并行计算平台和编程模型，可以使用CUDA C/C++编写高性能的GPU加速代码。然而，在使用CUDA进行开发时，有时会遇到"cuda error: device-side assert triggered"的错误。本文将介绍这个错误的原因，以及如何解决它。
我们知道，开发人员已经使用Python近30年了，并且目前正受到机器学习和数据科学家的大力推动。而Julia从2012年才开始使用，到2019年1月Tiobe官网发布了编程语言排行榜中，Julia已经排在第37位了。
编译：archimedes http://www.cnblogs.com/archimedes/p/mapreduce-principle.html 一个有趣的例子 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？ 📷 MapReduce方法则是： 给在座的所有玩家中分配这摞牌 让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你 你把所有玩家告诉你的数字加起来，得到最后的结论 拆分 MapReduce合并了两种经典函数： 1、映射（Mapping）对集合里的每个目标应用
MapReduce最早来源于谷歌公司的一篇学术论文，是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于MapReduce可以普遍应用于很多大规模数据的计算问题，因此自发明MapReduce以后，Google公司内部进一步将其广泛应用于很多大规模数据处理问题。到目前为止，Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。
当您在使用 PyTorch 进行深度学习应用时，有时会遇到下面这个错误信息：“Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False”。本文将为您解释这个错误的原因以及如何解决它。
出处：http://www.cnblogs.com/archimedes/p/mapreduce-principle.html
阅读完前两篇文章后，相信读者应该能够将一些简单的CPU代码修改成GPU并行代码，但是对计算密集型任务，仅仅使用前文的方法还是远远不够的，GPU的并行计算能力未能充分利用。本文将主要介绍一些常用性能优化的进阶技术，这部分对编程技能和硬件知识都有更高的要求，建议读者先阅读本系列的前两篇文章，甚至阅读英伟达官方的编程手册，熟悉CUDA编程的底层知识。当然，将这些优化技巧应用之后，程序将获得更大的加速比，这对于需要跑数小时甚至数天的程序来说，收益非常之大。
每个数据科学项目迟早都会面临一个不可避免的挑战：速度问题。使用更大的数据集会导致处理速度变慢，因此最终必须想办法优化算法的运行时间。正如你们大多数人已经知道的，并行化是这种优化的必要步骤。python 为并行化提供了两个内置库：多处理和线程。在这篇文章中，我们将探讨数据科学家如何在两者之间进行选择，以及在这样做时应注意哪些因素。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
