我有一个生成图形的函数(神经网络模型)。我希望测试几个参数、方法和来自python的不同输入(意味着数百次函数运行)，在一个标准集群上使用PBS和Torque。集群处于我无法更改的给定配置中，这样一种集成python + qsub的解决方案肯定会让社区受益。函数时都会启动PBS脚本的“某些东西”？#PBS -l ncpus=1
浏览 1提问于2010-07-22得票数 10
回答已采纳
我正在由PBS torque管理的集群中运行并行MATLAB或python任务。现在令人尴尬的情况是，PBS认为我正在使用56个内核，但这是在第一个，最终我只有7个最难的任务运行。我的并行任务花费了非常不同的时间，因为它们在不同的模型参数中进行搜索，我不知道在尝试之前哪个任务
浏览 2提问于2018-11-16得票数 0
回答已采纳
4回答
我正在寻找一些东西，它将使在集群上运行(正确编码)令人尴尬的并行JVM代码变得容易(这样我就可以使用Clojure + Incanter)。
我以前就用过并行Python来做这件事。我们有一个新的PBS集群，我们的管理员将很快设置使用PBS作为后端的IPython节点。这两个系统都使得在集群中运行某些类型<em
浏览 46提问于2010-03-24得票数 9
回答已采纳
我写了一个基于MPI的C代码，我用它来并行地进行数值模拟.由于我的设计不好，我在代码中内置了一些内在的MPI依赖项(数组结构，MPI)。这意味着，如果我想以串行方式运行我的代码，我必须调用主要问题我在工作流中使用了C代码，这个工作流在下面的循环中得到了简化。Python循环中的任务是独立的，因此我想使用一个令人</e
浏览 1提问于2016-02-11得票数 1
我用Matlab编写了一个复杂的模型。该模型不是由我们编写的，最好被认为是一个“黑匣子”，也就是说，为了从内部解决相关问题，需要对整个模型进行重写，这将需要数年的时间。如果我有一个“令人尴尬的并行”问题，我可以使用一个数组提交与选项#SBATCH --array=1-X相同模拟的X变体。然而，集群通常对最大数组大小有一个(令人沮丧的小)限制。在使用</em
浏览 0提问于2018-03-15得票数 5
回答已采纳
对于长期运行的、令人尴尬的并行任务，使用多处理与并行运行多个python解释器有什么好处吗？目前，我正在启动几个python解释器，它们对输入数据进行分析，每个解释器都将结果转储到一个单独的泡菜文件中。对输入数据进行切片和组合结果是非常简单的。为此，我在OS和linux上使用
浏览 2提问于2015-06-12得票数 1
回答已采纳
这是一个令人尴尬的并行工作，每个任务相互独立，因此很适合GNU并行工具。为了获得集群的最佳使用，并在任何有空间的地方挤压我的任务，我将资源请求放置到PBS，如下所示：PBS -l select=60:ncpus=4:mpiprocs=1。使用--sshloginfile $PBS_NODEFILE不会传递每个节点上可用的各种资源
浏览 2提问于2018-05-11得票数 3
回答已采纳
我经常使用类似下面的简化的2脚本来在集群中分发令人尴尬的并行工作，并使用PBS/MPI。我想知道这些命令是否可以合并到一个文件中，以便清晰和减少杂乱。我更感兴趣的是理解bash/mpirun的局限性，而不是寻找解决原始问题的替代方法，比如PBS数组。PBS脚本：
#PBS -l nodes=
浏览 0提问于2014-06-23得票数 1
回答已采纳
1回答
集群资源管理器Torque通常在独占的基础上分配计算节点。然而，当您有许多小作业(就像我们一样)在多核计算节点上运行时，这可能会导致大量的资源浪费。是否有任何方法来配置扭矩以允许计算节点上核心的非排他性分配？
(这些任务都是令人尴尬的并行性，因此我们不关心对共享网络资源的争用。我们不能切换调度程序，因为我们的客户的工作脚本都是PBS</e
浏览 0提问于2011-07-15得票数 1
回答已采纳
1回答
我有一个Python脚本，它在一个有512个CPU和4TB内存的服务器上运行。该脚本使用Python的Multiprocessing模块通过派生30个并行子进程来进行并行处理。我现在需要编写一个PBS脚本，以便从另一个服务器远程调用该脚本。我可以看到有两种方法: 1.保持脚本不变，然后使用qsub提交一个运行脚本的作业。然后脚本将使用多处理模块<
浏览 1提问于2015-02-19得票数 1
1回答
我试图在高计算集群上提交一个作业，它需要运行python代码，比如说10000次。我使用了gnu并行，但随后IT团队给我发了一封邮件，称我的工作在他们的监控系统中创建了太多ssh登录日志。我的代码大约需要12秒才能运行。我认为我需要在我的PBS脚本中使用#PBS -J语句。然后，我不确定它是否会并行运行。我需要执行我的代码，比如在10个节点<em
浏览 4提问于2021-07-15得票数 0
8回答
我正在写一篇论文来测试一个新的应用程序，它将演示并行计算的好处(与这个应用程序的传统序列化版本相比)。我想在我的论文中使用进行并行计算。在这种情况下
浏览 12提问于2010-07-19得票数 11
在我看来，向量化与令人尴尬的并行问题密切相关。换句话说，所有可向量化的程序都必须是令人尴尬的并行程序。这是正确的吗？
浏览 0提问于2013-01-10得票数 4
我有一个连接了4个GPU的节点。我有一段python代码，它由一个循环组成，这个循环可以进行令人尴尬的并行化。目前我的程序只使用1个GPU (我使用了一个在GPU上运行模拟的库，不支持多个GPU)。在python中有没有办法在多个GPU上运行我的代码？
浏览 29提问于2020-10-07得票数 1
2回答
不带酸菜的并行化
、、、
Alex Gaynor在他的talk 中解释了pickle的一些问题，包括安全性、可靠性和人类可读性。我通常对我的python程序中的数据使用pickle很谨慎。一般来说，我更喜欢使用json或其他由我自己指定的序列化格式手动传递我的数据。
我感兴趣的情况是:我在我的python程序中收集了一些数据，我想在它上并行</e
浏览 0提问于2018-11-27得票数 2
我想在一个100节点的分布式内存集群中并行一个C串行代码。该星系团由25个叶片组成，每个叶片由infiniband每个核心4颗。在我使用PBS在不同的节点之间传播程序的几个串行运行之前。现在我想知道：
我在哪里可以找到例子/教程？对于具有主For循环的简单串行代码，Open
浏览 2提问于2010-12-15得票数 5
回答已采纳
我使用的是version的Canopy/EPD版本的python，它附带了numpy linked MKL。我目前正在我的工作电脑(Windows7，四核i5 @3.33Ghz，4 GB内存)和我的家庭工作站(MacPro3.1，Ubuntu12.04，2x四核至强@2.8Ghz，6 GB内存)上运行一组并行模拟但当我对我的模拟进行基准测试时，它们在工作计算机上的
浏览 1提问于2014-03-26得票数 24
1回答
我并不是Hadoop的专家，但我的理解是Hadoop非常适合并行算法，在这种并行算法中，并行性要么是映射缩减形式，要么是其他类型的分而治之。
还有其他类型的算法技术也很适合吗？
浏览 0提问于2015-10-11得票数 1
回答已采纳
1回答
CPU和GPU操作并行化
、、、
3)监视GPU上的计算状态，并将它们打印到屏幕上。在这种情况下，我不一定需要充分利用多cpu的全部功能。我所要做的就是加载数据并在GPU上执行计算时对它
浏览 3提问于2013-05-27得票数 5
回答已采纳
在GCE上设置令人尴尬的并行作业的最简单方法是什么？我在其他集群上使用过slurm，但希望避免配置和安装问题。谷歌上有没有现成可用的东西？
浏览 0提问于2017-09-25得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
