腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
从
并行
进程
的
每个
节点
返回
错误
r
、
parallel-processing
我正在尝试使用parallel包(实际上,我希望这个问题
的
解决方案是通用
的
,这样我就可以使用任何
并行
化包)来运行给定
的
函数,并从任何
返回
错误
的
节点
返回
任何
错误
。让我们举一个简单
的
例子。,然后
返回
一个
错误
。1, 2), print(x) tryCatch(stop('test'), er
浏览 142
提问于2019-10-17
得票数 0
1
回答
整个Kedro流水线
的
并行
性
kedro
我在一个项目中工作,我们正在处理非常大
的
图像。管道有几个
节点
,
每个
节点
都产生下一个
节点
运行所需
的
输出。我
的
理解是,ParallelRunner是
并行
运行
节点
的
。它正在等待
每个
进程
在移动到第二个
节点
之前完成第一个
节点
,等等。我
的
问题是输入需要不同
的
时间才能完成。如此多
的
进程
在没
浏览 5
提问于2021-01-06
得票数 0
5
回答
使用node.js运行多个
并行
http请求
node.js
、
http
、
asynchronous
、
parallel-processing
我
的
任务是将一个
进程
拆分成多个
并行
运行
的
较小
进程
,并将这些
进程
分布到多个从属机器上。请求通过HTTP传入,服务器将其拆分为多个子
进程
,发送给
从
机,等待所有
从
机请求
返回
响应,然后将聚合结果整理为单个数据对象,作为顶级请求
的
结果
返回
。我认为node.js会很有用,但由于它是单线程
的
,我不太清楚这是否可能,或者它是否会阻塞等待
每个
请求
返回</e
浏览 2
提问于2011-04-15
得票数 8
4
回答
如何
确定套接字/
节点
本地
的
MPI等级/
进程
号
mpi
、
parallel-processing
、
openmpi
比方说,我使用MPI运行一个
并行
程序。执行命令总共启动8个
进程
。也就是说,
每个
节点
2个
进程
,总共4个
节点
。(OpenMPI 1.5)。其中一个
节点
包括1CPU(双核),并且
节点
之间
的
网络互连是InfiniBand。现在,可以使用以下命令确定排序号(或
进程
号MPI_Comm_rank(MPI_COMM_WORLD, &a
浏览 1
提问于2012-01-27
得票数 17
回答已采纳
4
回答
Erlang中
的
进程
平衡
erlang
、
erlang-otp
、
load-balancing
我
的
意思是,如果我在一个非常大
的
数据集上进行一些非常简单
的
操作,那么为
每个
项目构建一个流程
的
开销将比按顺序执行操作要大。但如果我能在“正确数量”
的
进程
中平衡工作,它会表现得更好,所以我基本上是在问是否有一种简单
的
方法来完成这项任务。 顺便问一下,有没有人知道OTP应用程序是否做了某种负载平衡?我
的
意思是,在OTP应用程序中有“工作
进程
”
的
概念(就像java
的
线程工作
进程</
浏览 5
提问于2009-02-04
得票数 4
回答已采纳
2
回答
Apache Nifi处理器,其作用类似于同步多个流文件
的
屏障
apache-nifi
我正在为我们
的
ETL
进程
评估Nifi。我想构建以下流程:
从
SQL数据库中提取大量数据->分成块1000条记录
每个
块中
的
每个
->计数
错误
记录->计数
错误
记录总数->如果超过阈值,失败
进程
->否则将
每个
块保存到数据库中。我不能解决
的
问题是
如何
等待所有的块都被验证。例如,如果我有5个
并行
工作
的
验证任务,我需要某种类型<em
浏览 2
提问于2016-05-29
得票数 4
1
回答
使用MPI和SRUN将
进程
映射到套接字(不包括第一个核心)
mpi
、
cluster-computing
、
distributed-computing
、
slurm
、
hpc
我试图在48台具有两个套接字(
每个
套接字1个
进程
)
的
核心机器上,在一个
节点
上执行两个
进程
的
并行
代码。
每个
进程
只能使用23个插座核心。
进程
0必须
从
核心1到核心23 (套接字0),
进程
1必须
从
核心25转到核心47 (套接字1)。我想知道
如何
使用SRUN排除
进程
在
每个
套接字中使用第一个核心( socket 0中<em
浏览 9
提问于2022-03-18
得票数 0
1
回答
并行
R中
每个
子
进程
的
唯一名称
r
、
parallel-processing
在使用R中
的
并行
包运行计算时,我希望为
每个
子
进程
找到一个唯一
的
名称,我
的
目标是执行一个“穷人”
并行
输出,其中
每个
进程
都写入自己
的
文件。我可以使用Sys.info()['nodename']获得
节点
名,但
每个
节点
有8个
进程
。我似乎找不到一个方法来识别每一个过程。
浏览 2
提问于2014-09-12
得票数 2
回答已采纳
2
回答
是否需要带有
并行
流
的
倒计时锁存器以确保线程等待?
java
、
multithreading
我有一个物体
的
树状结构。目前,树
的
头在
每个
子
节点
上迭代,然后依次遍历它
的
子
节点
。这都是在单个线程上完成
的
,但是
每个
分支都可以
并行
完成,当所有子
节点
完成任务时,父
节点
只需要
返回
。我正计划使用
并行
流来完成这个任务,我只想问一问这是否是一种可行
的
方法。我还想知道是否需要使用倒计时锁存器(如下面所示)来停止线程
的
进程
,
浏览 0
提问于2018-06-14
得票数 0
回答已采纳
1
回答
Neo4j java api:事务、多处理和线程安全
java
、
process
、
transactions
、
neo4j
在使用Neo4j图进行实验时,我发现在任何给定时间只能有一个具有“给定事务名称”
的
事务。这是真的吗?还是我在理解交易时犯了一些
错误
?some operations on node }finally{ }如果我有多个
进程
或多个线程运行在同一个"graphDB“上,
每个
进程
/线程都可以为不同
的
节点
调用上述函数,会不会像只有一个名为&
浏览 0
提问于2013-06-11
得票数 1
回答已采纳
2
回答
我有12个CPU,1个套接字,
每个
套接字有6个内核,
每个
内核有2个线程--这些信息
如何
与MPI和OpenMP
并行
化相对应?
c++
、
parallel-processing
、
mpi
、
openmp
、
hpc
我需要为一些需要计算
的
c++代码实现一些
并行
计算功能。我已经读到,可以使用MPI和OpenMP
的
组合来实现我所需要
的
-- MPI可以用于在处理器之间分配任务,而OpenMP用于在各个处理器上
的
线程之间分配任务。我输入了lscpu (见下文)检查我
的
办公室PC处理器
的
细节,但我不知道
如何
解释它。要点似乎如下: 那么,我
如何</e
浏览 3
提问于2019-04-09
得票数 1
1
回答
配置单元在选择数据时是否保留文件顺序
apache-spark
、
hadoop
、
hive
、
apache-spark-sql
、
hiveql
如果我执行select * from table1;操作,数据将按哪种顺序检索 文件顺序或随机顺序
浏览 19
提问于2019-06-20
得票数 3
1
回答
杀死父
进程
在其他
节点
上使用ssh -x -n生成
的
所有
进程
。
ssh
、
kill
、
background-process
一个名为G09
的
软件使用Linda
并行
工作。它在其他
节点
上生成它
的
并行
子
节点
,如 /usr/bin/ssh -x compute-0-127.local -n /usr/local/g09l/g09/linda-exe/l1002.exel ..但是,当主
节点
终止该
进程
时,其他
节点
上相应
的
子
进程
(即Comput
浏览 0
提问于2010-10-30
得票数 1
1
回答
Postgresql 9.6
从
外部表
并行
执行
oracle
、
postgresql
、
parallel-processing
、
oracle-fdw
我将postgresql
从
9.5升级到9.6,以便使用
并行
执行来提高性能。然而,我没有成功地使用它。在我
的
主数据库中,我几乎所有的选择都类似于:select * from foreign_table外部表是一个位于oracle数据库上
的
外部表。有些表是很大
的
10G+和1,000,000+记录,因此
并行
查询在这种select情况下应该会对我有很大帮助。我配置
的
参数:max_parallel_worke
浏览 3
提问于2017-08-02
得票数 1
3
回答
并行
编程=多个子
进程
,还是
每个
进程
创建一个子
进程
?
c
、
multithreading
、
process
、
parallel-processing
不知道“
并行
编程”是什么意思..。但我有两个想法
并行
编程
的
正确思想是哪一种?谢谢你
的</em
浏览 3
提问于2012-05-27
得票数 1
回答已采纳
1
回答
如何
用
并行
节点
遍历类似于“链表”
的
结构
c++
、
algorithms
、
linked-list
我正在从事一个信号处理项目,该项目允许对数据流以及多个端点
的
输入和输出进行
并行
处理。端点可以声明为输入或输出,
节点
是介于两者之间
的
任意
节点
。output2output1依赖于
节点
3node3取决于
节点
1和2(之和)
节点
/端点当前持有指向它们所依赖
的
对象(
浏览 0
提问于2016-05-21
得票数 0
回答已采纳
2
回答
在
节点
js中运行
并行
进程
来处理SQS消息。
node.js
、
amazon-web-services
、
amazon-sqs
允许MaxNumberOfMessages = 10有任何国家预防机制
的
一揽子计划可用于此吗?
浏览 2
提问于2016-05-17
得票数 0
3
回答
代码:
如何
通过openMP共享
节点
上
的
数据?
memory
、
memory-management
、
fortran
、
mpi
、
openmp
我正在编写已经使用MPI
的
Fortan代码。用openMP实现这样
的
目标有可能吗?
每个
节点
的
数据共享是
浏览 8
提问于2014-07-17
得票数 12
回答已采纳
1
回答
使用Joblib+Dask将许多子
进程
派生到HPC上
的
许多不同
节点
。
python-2.7
、
cluster-computing
、
dask
、
slurm
、
joblib
我正在尝试运行一个python程序,该程序在某一时刻执行许多(数千)令人尴尬
的
并行
进程
,这些
进程
是以对其他软件
的
子
进程
调用
的
形式出现
的
。我在一个跨越多个不同
节点
的
slurm集群上运行,
每个
节点
都有多个核心。 我使用过mpi4py,但代码中
的
延迟导致我转向使用joblib。Joblib似乎是
并行
化这些子
进程
调用
的
浏览 17
提问于2019-04-03
得票数 2
3
回答
Erlang是只为在单台多核机器上运行而设计
的
,还是可以分发
进程
?
erlang
、
distributed
、
cluster-computing
、
multiprocessor
我
的
应用程序在我
的
四核机器上运行得很好。它是“令人尴尬
的
并行
”,大约有100K
进程
,因此非常适合在一群机器上运行。但是,我很难找到关于
如何
在集群中
的
所有可用
节点
上分布所有这些
进程
的
文档。分布式Erlang
的
文档似乎侧重于服务器-客户端应用程序,其中
每个
节点
都是运行单个应用程序
的
客户端,您可以手动指定哪个
节点
运行哪个
进程<
浏览 0
提问于2009-04-19
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Greenplum:基于 PostgreSQL 的分布式数据库内核揭秘 (下篇)
PostgreSQL技术大讲堂 - 第33讲:并行查询管理
Spark及Spark Streaming 核心原理及实践
【大数据】Presto(Trino)配置参数以及 SQL语法
Spark实战(5)_Spark Core核心编程
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券