腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何根据火花中给定
的
输入文件大小计算执行器、核心
和
内存
?
apache-spark
、
pyspark
假设我有5GB
的
输入文件,并且我有集群设置,每个25个
核
(总计-75个核心)
和
72GB
内存
(总计- 216GB
内存
)包含3个数据节点。如何计算此特定文件大小
和
内存
configuration.
的
执行器
数
、核
心数
和
执行器
内存
将为该文件在HDFS中创建多少块?
浏览 4
提问于2021-01-21
得票数 1
1
回答
Spark 1.5.2 +Hadoop2.6.2火花-提交
和
发送火花没有利用独立
的
所有节点
python
、
hadoop
、
apache-spark
、
pyspark
我遇到了一个问题,当运行火花-提交或独立模式下
的
火星雨,如下所示:它通常使用所有节点(至少在早期版本中)在UI中创建正在运行
的
Spark应用程序。从节点上
的
日志中没有错误。有人知道会出什么问题吗?作为参考,我
的
spark-env.sh具有以下配置: export HADOOP_CONF_DIR=/mnt/hadoop
浏览 3
提问于2015-12-24
得票数 1
回答已采纳
1
回答
星火中所需
的
分区
数
apache-spark
、
spark-streaming
、
partitioning
在2013年星火峰会上,雅虎
的
一个演讲中提到了这个: 假设一个64 16
的
内存
主机有16个CPU
核
。演示文稿提到,要处理3Tb
的
数据,所需
的
分区
数
为46080。我很难取得同样
的
结果。请解释一下计算,数字46080是怎么来
的
?
浏览 1
提问于2017-06-29
得票数 4
回答已采纳
1
回答
makeCluster中
的
错误(多核):无法打开连接
r
、
parallel-processing
、
cluster-computing
为什么当在标准节点(最大核心56)上提交作业时,一切都运行良好,但是当我向large_memory节点(最大
核
128)提交相同
的
作业/代码时,会出现错误?R中
的
并行化代码:错误 socketConnection中
的
错误(主机,端口=端口,阻塞=真,打开=
浏览 5
提问于2017-05-10
得票数 7
1
回答
如果我知道每秒预期
的
事务,如何找到CPU所需
的
核
数
?
hardware
我们所处
的
场景是,对于数据库
服务器
中每秒预期
的
事务
数
,我们有一个粗略
的
想法。我们手头没有实际
的
(定制
的
)软件。 在规划硬件时,如何确定软件将存放在其中
的
服务器
的
CPU
核
数
?是否有任何指南或最佳实践可供我确定当前正在使用
的
最新处理器
的
CPU核
心数
量?
浏览 0
提问于2020-08-13
得票数 -1
1
回答
加快热文件夹数据上传速度
sap
、
hybrid-mobile-app
、
hybris
我有大约188MB
的
CSV文件。当我尝试使用热文件夹技术上传数据时,它花费了太多
的
时间,10-12小时。如何加快数据上传速度? 谢谢
浏览 3
提问于2017-06-04
得票数 0
2
回答
在Linux系统上使用Java / Eclipse TPTP进行16线程/ 16核心代码评测
java
、
multithreading
、
eclipse
、
profiling
、
multicore
我用Java语言开发了一个很好的多线程遗传算法,它运行在一个运行CentOS
的
16
核
系统上,
内存
为128 on。我想使用代码分析器,看看当我在模拟中增加突变
的
数量超过某一点时,我是否能找出代码
的
哪一部分陷入了泥潭。记忆似乎不是问题所在。因此,我在
服务器
上安装了VNC
和
Eclipse3.6SR2,并安装了TPTP插件。问题:最大
的
问题是,当我做TPTP“执行时间分析”(我使用“top”检查)时,eclipse看起来并没有使用多个内核。通常,当程序从命令行
浏览 0
提问于2011-10-06
得票数 1
1
回答
Spark执行中内核
的
使用
apache-spark-sql
我刚开始使用Spark查询,并试图理解它在幕后
的
作用。我知道- 1 core = 1 task.我
的
问题-请给
浏览 2
提问于2021-03-18
得票数 0
2
回答
如何指定bazel使用
的
CPU核
心数
量?
tensorflow
、
bazel
、
syntaxnet
上次我遇到这个问题时,有人告诉我通过添加-j4来改变我所使用
的
内核
的
数量。在巴泽尔,这个命令不起作用。对bazel有这样
的
自定义命令吗?CPU规格: 3.8ghz时钟,四
核
CPU型号: AMD 4800(或类似的东西)。
浏览 8
提问于2016-06-13
得票数 1
回答已采纳
4
回答
为什么拥有大量Ram但核心很少
的
服务器
是如此困难呢?
sql-server
、
memory
、
multi-core
SQL server
的
每个核心许可成本非常高,但是对于许多工作负载来说,大量RAM
的
好处更大。现在,在
内存
表中,他
的
情况更多了。即使一个有4个核心
的
服务器
比一个有16个核心
的
服务器
更贵,它还是值得
的
,因为节省
的
许可成本! 现在看来,核
心数
量似乎是一个新
的
毫无意义
的
营销数字。更新,谢谢大家
的
投入,我也刚刚发现为Server 2014选择处理器在sq
浏览 0
提问于2014-02-04
得票数 1
回答已采纳
1
回答
mpirun是否知道所请求
的
核
数目是否大于或小于节点中可用
的
核
数
?
mpi
、
cluster-computing
、
slurm
在mpirun
和
srun之间,我正在考虑哪个进程启动程序在优化资源方面更好。假设集群中
的
一个计算节点总共有16个核心,我有一个作业,我想使用10个进程来运行。如果我使用启动它,它是否能够检测到我
的
请求
的
核
心数
量少于每个节点中可用
的
核
数
,并且将自动从单个节点分配所有10个
核
?在上面的示例中,让我们进一步假设每个节点都有2个CPU,并且每个节点
的
核心分布是相等
的
,因此8个核心/CPU
和
浏览 5
提问于2020-10-28
得票数 0
1
回答
理解驱动程序
和
执行器配置
的
术语
apache-spark
、
pyspark
、
process
、
distributed-computing
、
cpu-cores
spark.driver.cores -用于驱动进程
的
核
数
,仅在群集模式下使用。spark.driver.memory -驱动程序进程要使用
的
内存
量 spark.executor.memory -每个执行器进程要使用
的
内存
量spark.task.cpus -为每个任务分配
的
核
心数
。那么,如果我尝试使用这三
浏览 8
提问于2022-06-24
得票数 0
1
回答
GitLab
的
回购
和
用户限制是什么
gitlab
我想知道对于GitLab中允许
的
存储库
和
用户
的
数量是否有限制,给出了2GB
内存
和
2个处理
核
。
浏览 7
提问于2015-02-10
得票数 3
回答已采纳
1
回答
是否有可能在多个
核
(细分链)上运行带有JAGS
的
多个链
r
、
parallel-processing
、
bayesian
、
mcmc
、
jags
例如,我想知道是否有可能将JAGS中
的
3条链细分到5或6个
核
上。这是默认
的
,链
的
数量(在我
的
例子中是3)等于使用
的
核
心数
量。这如何影响MCMC取样
的
方式? 我发现,如果我有三条铁链,我就不能在三根铁芯下面。如果我增加
核
的
数量,它需要更长
的
时间(作为一个比较,12
核
浏览 2
提问于2016-05-24
得票数 7
回答已采纳
8
回答
Apache Spark:内核数量与执行器数量
hadoop
、
apache-spark
、
hadoop-yarn
我正在尝试理解在YARN上运行Spark作业时核
心数
和
执行器
数
之间
的
关系。测试环境如下: 网络:1 1GbSpark)--master yarn-client --executor-memory 19G --executor-cores 4 --num-executors 3一样多<em
浏览 262
提问于2014-07-08
得票数 220
2
回答
基于系统规格
的
线程化
multithreading
、
threadpool
我有一台24 ram
内存
的
服务器
,四
核
xeons超线程。我需要在我
的
服务器
应用程序中创建一个线程池。线程池
的
最大线程
数
的
指导原则是什么? 谢谢
浏览 1
提问于2011-11-22
得票数 0
1
回答
OpenCL最优通流装置
的
选择
optimization
、
parallel-processing
、
opencl
、
gpgpu
、
cloo
我真正想知道
的
是我在GPU上有多少个核心(计算单位*每个计算单元)。我该如何正确地做这件事?我目前可以确定计算单位
和
频率。这对于为每个内核调用选择要指定
的
工作线程
的
最佳数量也是有用
的
。任何帮助都是非常感谢
的
。
浏览 4
提问于2016-03-23
得票数 2
回答已采纳
1
回答
如何为
服务器
端
的
线程池设置适当
的
线程号?
java
、
multithreading
我只想问一个新手
的
问题:如何为
服务器
端
的
线程池设置合适
的
线程号? 我要考虑
的
问题是什么?例如,每秒
的
网络请求数、CPU
核
数
、应用程序中
的
CPU
和
内存
使用率、我在
服务器
上使用
的
硬件等等。
浏览 1
提问于2014-02-11
得票数 3
3
回答
在OpenMP中要启动多少个线程?
c
、
multithreading
、
multiprocessing
、
openmp
我是OpenMP编程新手,我已经在GCC上执行了几个开放mp示例程序.我想知道如何决定要启动多少线程(即如何确定omp_set_num_threads()函数
的
参数),以便在双
核
英特尔处理器上获得更好
的
性能* program*这是我
的
样本#include<stdio.h>#define CHUNKSIZE
浏览 6
提问于2012-09-01
得票数 3
3
回答
如何确定硬件线程
的
数量
java
、
concurrency
、
parallel-processing
它是否总是可用处理器核
心数
的
两倍?如何确定英特尔Core2双
核
处理器中
的
硬件线程
数
?它可以通过Java代码来确定吗?
浏览 0
提问于2010-11-25
得票数 6
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
CPU核数和线程数有什么作用?CPU核数和线程的关系与区别,服务器CPU与电脑主机CPU的区别
AMD 为使用 Zen 4 架构的服务器准备 96 核和128核CPU 芯片!
Tomcat服务器配置内存和perm的操作方法
1核2g与2核1g服务器配置哪个好
AMD YES,首款7nm处理器面世,64核128线程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券