腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
R
中
的
furrr
包
不会
一直
将
作业
分散
到
所有
内核
中
?
、
、
我
的
任务是计算余弦相异度。 给定用户观察
的
数据帧,我在每对行之间执行余弦差异。 长话短说,我正在使用
furrr
::future_map2_dfr函数将计算
分散
到我拥有的
所有
内核
中
。由于某些原因,当一些
内核
空闲而另一些
内核
正在努力工作时,他们
的
工作
不会
一直
在其他
内核
上传播。 例如: 这里是起点: ? 现在,它处于计算过程
的
中间: ?
浏览 41
提问于2019-01-09
得票数 3
回答已采纳
1
回答
在使用
furrr
函数时,是否有一种修改分配给期货
的
集群资源
的
方法?
、
、
为了在slurm-managed远程机器上运行代码,我在
R
脚本中使用了未来
的
、和
furrr
包
。在定义未来
的
拓扑结构时,我
将
一个模板文件传递给future.bacthtools::batchtools_slurm(),并使用resources =参数定义slurm
作业
的
计算资源。然后,当我运行
furrr
::future_pwalk()函数时,每个未来都使用相同
的
资源(即我在batchtools_slurm()
中
浏览 7
提问于2020-10-30
得票数 3
1
回答
PBS:每个节点只请求一个核心,而不请求整个节点
、
、
我有一些进程需要
分散
到
支持PBS
的
集群上,但是,由于进程
的
限制,我一次只能在每个节点上运行一个进程。每个节点有两个处理器,隔离区
的
方法是简单地为每个
作业
请求两个处理器。但这会为每个
作业
浪费一个核心。是否可以为每个
作业
请求一个
内核
,同时确保
所有
作业
中
只有一个进程同时在给定节点上运行?
浏览 0
提问于2009-04-17
得票数 1
1
回答
LSF“order”资源字符串
、
我尝试使用以下命令向LSF
中
利用率最低
的
机器提交
作业
它按预期工作,但
所有
作业
(背靠背提交)最终都在同一主机(利用率最低
的
主机)
中
,因此机器负载很重,最终导致
作业
性能不佳是否有一种方法可以
将
连续提交
的
作业
分散
到
利用率最低
的
机器上?或者一种计算机器上使用了多少插槽
浏览 1
提问于2015-03-25
得票数 1
3
回答
对毛发使用整洁
的
求值
、
、
、
、
我希望使用
furrr
包
而不是purrr
包
来并行运行以下函数。library(
furrr
) input <- list(element1 = tibble::tibble(a = c(1, 2), b = c(2, 2)),Object 'a' not found 我假设原因是future
包
查找要导出到工作程序
的
所有
必要变量。在本例
中
,它查找列名"a“作为全局变量,但找不到它,
浏览 53
提问于2020-09-22
得票数 2
回答已采纳
1
回答
如何在linux Cluster上使用Rmpi来增加DEoptim可用
的
内核
?
、
、
我正在使用
R
开发
的
代码,使用DEoptim (一个旨在最小化目标函数
的
函数)校准一个具有8个参数
的
水文模型。DEoptim代码使用'parallel‘
包
通过'DetectCores()’检测可用
的
核心数量。在我
的
PC上,我有4个
内核
,每个
内核
有2个线程,所以它检测8个
内核
,然后
将
水文模型发送到具有不同参数值
的
内核
,结果返回到中心。它这样做了成百
浏览 0
提问于2015-07-16
得票数 3
1
回答
如何在linux
内核
中使用连续内存?
、
Linux
内核
正在获取这些交错内存。因此,linux
内核
看到
的
物理内存是不连续
的
。如果我说错了,请纠正我。 在我
的
课程
作业
中
,我
一直
在研究linux
内核
源代码。在创建sysfs (/sys/devices/system/memory)时,linux kernel会创建部分(memory0,memory1,...)这些可用物理内存
的
特定大小(在我
的
系统上为128
浏览 0
提问于2013-10-27
得票数 6
1
回答
我有一个多线程JAVA应用程序,它在一个有N个
内核
的
CPU上运行(在Linux上),但是它只使用第0个
内核
,其余
的
内核
都是空闲
的
、
、
、
、
如果我没记错的话,JVM依赖于操作系统
的
底层架构来调度线程并将其
分散
到
其他核心(当一个线程产生时)。但是,在我
的
应用程序
中
,我没有看到这种情况发生。每个线程都在第0个
内核
上运行,其余N-1个
内核
处于空闲状态。有没有发生这种情况
的
具体原因,还有,如何解决这个问题,以便我可以利用我
的
其余
内核
?我知道设置进程亲和性,但在某种程度上,也就是
将
进程硬编码
到
特定
的
核心。由于线
浏览 0
提问于2018-09-04
得票数 0
2
回答
Spark (纱线客户端模式)在
作业
/阶段完成后不释放内存
、
我们
一直
在通过spark-shell
中
的
交互式spark
作业
或在RStudio
中
运行Sparklyr等方式来观察这种行为。假设我在纱线客户端模式下启动了spark-shell,并执行了一个操作,该操作在
作业
中
触发了几个阶段,并消耗了x
内核
和y内存。此
作业
完成后,相应
的
spark会话仍处于活动状态,即使该
作业
已完成,分配
的
内核
和内存也
不会
释放。这是
浏览 0
提问于2018-09-12
得票数 1
2
回答
增强并行操作C#
、
、
、
、
=> { IntensiveWork(i); }); { Thread.Sleep(
r
.Next(i*1)); } 我注意
到
Parallel.For生成8个
作业
的
多个批次。这里
的
问题是,如果批处理
中
的
7/8个
作业
完成,那么下
浏览 23
提问于2019-02-24
得票数 1
1
回答
SQL Server2008
R
2
作业
启动步骤1数百次
、
、
、
、
我有一个ETL SSIS
包
,计划通过
作业
在晚上7点运行这是
作业
中
的
唯一步骤,失败操作是“退出
作业
报告失败”。我没有对
作业
、
包
或服务器进行任何更改,今晚它
的
行为很奇怪。当我查看该
作业
的
历史记录并在今晚展开时,它显示了从步骤1开始超过400次,
所有
这些都是在下午7点整开始
的
它看起来就像是
一直
在启动它,直到事务日志填满了整个驱动器,没有更多
的<
浏览 0
提问于2015-12-21
得票数 1
1
回答
slurm可以运行3台独立
的
计算机作为一个“节点”吗?
我是一个实习生,负责在三个运行ubuntu
的
计算单元上安装slurm。现在
的
工作方式是
将
ssh放入其中一个计算单元
中
,并在其中运行一个
作业
,因为
所有
三个单元都通过nfs挂载共享内存。我
的
问题是,从我在文档中看到
的
情况来看,在安装slurm时,我会将每个计算单元指定为一个完全独立
的
节点,而我想要运行
的
任何使用多个核
的
作业
仍然会受到单个节点上可用
的
核数
的</e
浏览 0
提问于2020-02-29
得票数 0
回答已采纳
1
回答
GNU并行:延迟发送到远程服务器
的
第一个
作业
、
我有一个gnu并行脚本,可以
将
数据(分布在100个远程服务器上
的
100,000个
作业
)导入
到
中央数据库
中
。第一批
作业
正在猛烈抨击中央数据库,因为它们几乎同时完成。之后
的
工作最终会
分散
开来,并且
不会
尝试同时导入
所有
工作。 有没有办法延迟每个远程服务器
的
第一个
作业
的
执行?因此,脚本可以说“立即运行进程#1
到
server1,在5秒内运行进程#2
浏览 3
提问于2013-05-02
得票数 4
3
回答
列出在特定从节点上运行
的
所有
作业
、
、
在我们
的
Jenkins master上,一个多配置项目被用来
将
一个高度并行
的
任务
分散
到
许多实际执行工作
的
从机上。 现在,我想列出在特定从节点上运行
的
所有
作业
。有没有办法做到这一点?在一个大表
中
,我只看到一个矩阵父
作业
的
所有
矩阵子
作业
。或者我可以列出单个子
作业
的
历史记录。但是,如果我想连接到运行
作业</e
浏览 4
提问于2015-06-17
得票数 4
1
回答
发送失败电子邮件和失败
包
或职务
、
我继承了几个SSIS
包
,这些包被安排为SSMS
中
的
乔布斯,在SSIS
包
的
内部发送电子邮件通知。因此,如果某个SSIS
包
的
某个特定部分失败,某些用户
将
收到一封带有故障和故障细节
的
电子邮件通知。对于单个
包
或SSMS
作业
来说,这是很好
的
工作,而这些
作业
不依赖于前面包
的
失败或成功。我
的
问题和问题集中在如何允许失败
的
电子
浏览 2
提问于2015-05-11
得票数 2
回答已采纳
1
回答
如何让sparklyr::spark_apply()产生多个工作进程?
、
、
我在本地部署中使用{sparklyr},也就是只有一个盒子,我让sparklyr启动
所有
的东西。在本地部署
中
,似乎只生成了一个允许使用机器
所有
内核
的
执行器。当我进入一个spark_apply() (使用一个具有多个值
的
Rscript )时,我看到一个group_by --slave只利用了一个
内核
。这只是Spark
的
一个限制,即每个执行器一个Rscript,还是有什么方法可以让{sparklyr}
将
工作
分散
到
浏览 6
提问于2017-12-11
得票数 3
3
回答
限制Matlab
的
并行工具箱使用
所有
内核
、
有没有可能拒绝Matlab访问
所有
内核
?目前机器上有8个,但我希望
将
Matlab
的
使用量减少
到
每个用户3个,这样一个用户就
不会
在
所有
8个用户上启动一个
作业
,从而减慢进程
中
的
其他用户。我没有分布式计算服务器许可证...普通
的
老式并行proc工具箱
浏览 1
提问于2011-03-11
得票数 2
回答已采纳
2
回答
在哪里并行化?构建bash脚本以在多个节点上进行并行化
、
、
、
我想在多个节点上并行化一个
作业
。每个核心应该运行特定
的
参数组合,然后
将
结果保存为文件。使用srun启动
R
脚本会导致
所有
节点和
内核
执行相同
的
excat代码。不使用srun
将
只在一个节点上启动代码,然后它会并行运行,但
不会
利用其他节点上
的
核心。我尝试为--node=、--task-per-node=、--cpus per-task=或--ntask=提供不同
的
条目,并尝试了srun
中
<
浏览 3
提问于2019-02-06
得票数 0
1
回答
它在Linux
内核
中
是如何处理
的
?
、
、
、
、
触发RES中断
的
原因是什么?LOC是否与处理器
中
定时器h/w产生
的
通用定时器中断相同?提前谢谢。
浏览 4
提问于2013-08-23
得票数 13
回答已采纳
1
回答
R
和GNU并行-如何限制使用
的
核心数量
、
、
我
的
第一个问题是让它在我
的
笔记本电脑上工作(2个真实
内核
,4个虚拟
内核
),然后我将把它移植
到
64个
内核
的
笔记本电脑上。anaconda安装了它) 在终端
中
(在导航
到
桌面之后,这是Test.
R
和commands.txt所在
的
位置),我使用命令: parallel --jobs 2 < commands.txt 我想要做
的
是使用(我尝试了此命令
的
变体,例如<em
浏览 49
提问于2019-03-06
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Oracle希望改进Linux的负载平衡和故障转移
大数据分析R为什么要学习SQL知识
linux命令小全
从用户态跟踪到内核去
西瓜书学习笔记-第4章:决策树
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券