腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Spark
是如何占据
内存
的
apache-spark
如果我的
服务器
有50 If
内存
,那么Hbase使用的是40 If。当我运行
Spark
时,我将
内存
设置为--executor-memory 30G。那么
Spark
是否会从Hbase那里获取一些
内存
,因为只剩下10 grab了。另一个问题是,如果
Spark
只需要1 1GB
内存
,但我给了
Spark
10G
内存
,
Spark
会占用10 1GB
内存
吗?
浏览 3
提问于2016-02-19
得票数 1
1
回答
火花执行器:初始堆大小无效:-Xms0M
java
、
apache-spark
、
jvm
、
apache-spark-sql
我已经将
Spark
配置为查询hive表。cd $
SPARK
_HOME然后在
Spark
用户界面上检查,执行器启动失败并出现以下错
浏览 2
提问于2016-01-29
得票数 3
1
回答
使用
Spark
thrift
服务器
的
spark
sql
scala
、
apache-spark
、
apache-spark-sql
我想使用JDBC类型的服务访问在
spark
中注册的表,使用
spark
提供的thrift服务。 我在google上没有任何关于这方面的文档,有人能告诉我如何使用thrift
服务器
访问
spark
表吗?这些表在
内存
中的生命周期是多少,这些表是否会一直驻留在
内存
中,直到thrift
服务器
运行。
浏览 2
提问于2015-08-05
得票数 2
1
回答
Spark
历史
服务器
和清除历史
apache-spark
、
hadoop-yarn
使用历史
服务器
条目的最佳方法是什么?我的集群有很多执行,它们显示为应用程序Ids。我知道它们占用了HDFS文件系统中大量的硬盘空间(我假设是这样的)。实际上,随着越来越多的执行发生在集群中,History
服务器
的堆
内存
使用量随着时间的推移而不断增加。我在
Spark
配置中更改了两件事: 1)保留应用程序计数(
Spark
conf)
spark
.history.retainedApplications (从50到5) 2) Yarn Conf - JobHistory
服务器
浏览 0
提问于2018-07-30
得票数 1
1
回答
Spark
-上限从
服务器
的CPU核心或
内存
数量
apache-spark
我使用的是
Spark
2.1。这个问题适用于一些
Spark
从
服务器
也运行其他应用程序的用例。有没有办法告诉
Spark
Master
服务器
只使用从
服务器
的特定数量的CPU核心或
内存
? 谢谢。
浏览 18
提问于2017-06-23
得票数 2
1
回答
sparklyr的
Spark
内存
问题
apache-spark
、
jvm
、
sparklyr
我在
Spark
running和sparklyr上有一些奇怪的问题。我目前在一台R生产
服务器
上,通过
spark
://<my server>:7077以客户端模式连接到my
Spark
Cluster,然后从MS SQL server拉取数据。我最近可以做到这一点,没有任何问题,但我最近得到了一个更大的集群,现在有
内存
问题。 首先,我在处理过程中遇到了莫名其妙的“
内存
不足”错误。这种情况发生了几次,然后我开始得到“
内存
不足,无法创建新线程”
浏览 19
提问于2018-06-01
得票数 0
回答已采纳
5
回答
如何更改apache火花工作器的每个节点
内存
memory
、
cluster-computing
、
config
、
apache-spark
当我使用一个主
服务器
和三个从
服务器
运行集群时,我在母版监视器页面上看到了这一点:2.0 GB (512.0 MB Used)6.0 GB(512.0 MB Used)export
SPARK
_WORKER_MEMORY=6gexport
SPARK
_DAEMON_MEMORY
浏览 2
提问于2014-06-16
得票数 34
回答已采纳
0
回答
spark
executor容器
内存
如何规划?
linux
、
容器
、
缓存
、
spark
spark
executor
内存
分为3部分,执行
内存
/缓存
内存
/程序
内存
,如何合理的分配
服务器
内存
给这3个部分?为什么?
浏览 89
提问于2021-12-24
1
回答
并非所有火花工作者都在起步:
SPARK
_WORKER_INSTANCES
hadoop
、
apache-spark
、
spark-streaming
我的
spark
-defaults.conf配置如下。我的节点有32 my的RAM。8核。我计划使用16 to和4个工人,每个工人使用一个核心。
SPARK
_WORKER_MEMORY=16g
SPARK
_WORKER_CORES=4
SPARK
_DAEMON_MEMORY=1g 当我尝试启动主机并像这样工作时,只有一个工人正在启动,而我期望有4个工人
浏览 2
提问于2016-10-14
得票数 2
1
回答
在
spark
中执行sbt包时Java
内存
问题
java
、
sbt
、
apache-spark
hduser@hduser-VirtualBox:/usr/local/
spark
1/project$ sbt包OpenJDK 64位
服务器
VM警告: INFO: os::commit_memory(0x00000000a8000000,1073741824,0)失败;error=‘无法分配
内存
’(errno=12) # Java运行时环境没有足够的
内存
继续运行。本机
内存
分配(malloc)未能为提交保留
内存
分配1073741824字节。包含更多信
浏览 3
提问于2014-12-06
得票数 0
回答已采纳
2
回答
如何从sparkcontext中获取与executor相关的信息?
scala
、
apache-spark
Spark
版本是2.3.3。我正在尝试查找总
内存
/已用
内存
以及活动/总任务和其他特定于执行器的信息。但我还需要来自这些执行器的总
内存
/已用
内存
。我在一个Yarn集群上运行了数千个作业。其想法是获得实际使用与分配的
内存
,以便可以进一步优化这些
内存
。 更新:提供了UI上所有可用的信息。计算过程中使用的
内存
除外。这就是我主要想要找的。
浏览 1
提问于2020-02-19
得票数 0
2
回答
在
spark
中对海量数据运行reduceByKey
apache-spark
我在
spark
中运行reduceByKey。我的程序是
spark
最简单的例子:我使用50台
服务器
,每台
服务器
35个执行器,每台
服务器
140 50
内存
。 文档量: 8TB文档,200亿文档,共1000亿字。而reduce之后的字数将达到1亿左右。我想知道如何设置
sp
浏览 0
提问于2015-07-01
得票数 8
1
回答
SPARK
_WORKER_INSTANCES设置在火花独立窗口中不起作用
apache-spark
我正在尝试设置一个独立的
Spark
2.0
服务器
,以并行处理分析功能。要做到这一点,我想运行8个工人,每个工人一个核心。但是,
Spark
/Worker UI似乎没有反映我的配置。我在用:
SPARK
_WORKER_INSTANCES = 8
SPARK
_WORKER_CORES = 1
SPARK
_WORKER_MEMORY
浏览 4
提问于2016-10-18
得票数 1
1
回答
带火花连接器的MongoDB
mongodb
、
apache-spark
、
sharding
、
in-memory-database
如果我有一个mongodb的副本集,那么主
服务器
正在接收所有的写/读操作,并将它们写入
服务器
。辅助
服务器
正在从操作日志中读取操作并复制它们。现在我想用
spark
- mongodb -connector来分析mongodb副本集中的数据。我可以在所有三个节点上安装
spark
集群,并在
内存
中对其运行分析。我知道
spark
集群有一个主节点,在那里我必须提交
spark
作业以进行分析,或
spark
streaming。两者都安装在to
浏览 15
提问于2017-01-25
得票数 1
1
回答
在集群上运行星火库:初始作业未接受任何资源
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
、
linode
我在上有一个远程Ubuntu
服务器
,它有4个核心和8G
内存
从
spark
.read.json("/path/to/
spark
-2.0.0-bin-hadoop2.7/examples/src&
浏览 0
提问于2016-11-28
得票数 3
回答已采纳
1
回答
如何理解
spark
-submit脚本大师是纱线?
apache-spark
、
hadoop-yarn
我们在3台机器上安装
Spark
,1个master,3个worker(1个node master + worker)。我们知道当--master
spark
://[host]:[port]时,作业将只运行3个节点使用独立模式。当使用
spark
-submit --master yarn提交jar时,它会使用所有6个
服务器
的cpu和
内存
,还是只使用3个
spark
worker节点机器?如果可以运行所有6个节点,那么剩下的3个
服务器
怎么知道它是
Spa
浏览 19
提问于2019-07-26
得票数 0
1
回答
星星之火,总是错误的executor_cores在工作申请从火花主web用户界面。
apache-spark
、
docker
、
hive
星火是一个好的火花-submit/
spark
-shell测试。我设置了 在
spark
-env.sh中。
spark
集群是在一个码头环境上设置的,每个
服务器
都是一个码头容器,运行在一个
服务器
上,并将其加到160内核/160 g
内存
上。在设置星火_工作者_核/火花_工作者_
内存
之前,总是应用156
浏览 4
提问于2017-05-02
得票数 0
1
回答
尝试将星星之火用户界面端口设置为范围,但它始终在随机数上运行。
apache-spark
这里是配置火花-defaults.conj.2:
spark
.port.maxRetries 200
spark
.blockManager.port36000
spark
.driver.port 38000 -Dspark.ui.port=35000 ..
浏览 8
提问于2022-01-28
得票数 2
2
回答
Spark
Thrift
服务器
在通过JDBC传输之前将全部数据集加载到
内存
中
apache-spark
、
spark-thriftserver
Spark
Thrift
服务器
试图在通过JDBC传输之前将完整的数据集加载到
内存
中,在JDBC客户端上,我收到错误: org.apache.
s
浏览 9
提问于2018-11-01
得票数 0
1
回答
在
spark
单机版中将创建多少个执行器
apache-spark
我在没有hadoop/yarn的
服务器
(8vCores和64 in )中安装了
spark
。我正在运行具有以下属性的作业。
spark
.executor.instances=4
spark
.executor.cores=4
spark
.driver.memory=16g从顶部的命令中,我看到该程序占用了大约22.3 is的
内存
。
浏览 0
提问于2019-07-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MOD玩家首选内存:扎达克SPARK RGB内存
Spark2.2 Tungsten之内存篇(1)
Apache Spark 统一内存管理模型详解
深入浅出Spark(一):内存计算的由来
服务器内存和普通内存有什么区别?普通电脑能用服务器内存吗?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券