腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1919)
视频
沙龙
1
回答
如何将
文件传输
到
spark
executor
我计划使用
Spark
提取Kafka数据。
Spark
集群模式是独立的。我使用以下命令提交了我的作业 ./
spark
-submit --packages org.apache.
spark
:
spark
-sql-kafka-0-10_2.12:3.0.1 ~/Documents/3-Playground/kstream-de.py,~/Downloads/kclient.jks 但是我得到了一个错误 Caused by: java.nio.file.No
浏览 76
提问于2021-02-08
得票数 0
回答已采纳
2
回答
需要通过apache livy提交hudi delta streamer作业的帮助
、
、
、
我对
如何将
参数作为REST API JSON传递感到有点困惑。 考虑下面的
spark
提交命令。=1072 \ --conf
spark
.task.cpus=1 \ --conf
spark
.eventLog.dir=hdfs:///user/
spark<
浏览 56
提问于2021-06-17
得票数 0
回答已采纳
1
回答
在SparkStreaming中火花推测生效后,不将任务分配给exectuor
、
当任务在
executor
0中挂起时,推测会生效,并在其他
executor
中重新运行任务(见下图)但我发现在推理生效后,没有任务分配给执行器0,数据局部性由process_local变为any,这导致调度任务的时间更长集群执行器信息img:
spark
.speculation.interval 500ms
spark
.streaming.kafka.maxRatePerP
浏览 0
提问于2018-12-29
得票数 0
1
回答
如何将
唯一的整数键分配给Apache
Spark
Java应用程序中的每个Apache
Spark
Executor
?
、
、
我需要为
spark
应用程序中的每个
spark
executor
分配一个唯一的整数id。我需要从在
executor
上运行的任务中检索
executor
id。
如何将
唯一的整数键分配给Apache
Spark
Java应用程序中的每个Apache
Spark
Executor
?
浏览 27
提问于2018-01-18
得票数 0
回答已采纳
1
回答
Dataproc群集属性(核心、内存和memoryOverhead)设置
、
、
PROPERTIES="\
spark
:
spark
.
executor
.memory=8g,\
spark
:
spark
.driver.memory=6g,\
spark
:
spark
.driver.maxResult
浏览 39
提问于2020-06-15
得票数 2
回答已采纳
1
回答
纱线阈值误差
、
、
、
我在它上面安装了Yarn,MapReduce,
Spark
2,Hadoop等等。我试着用--master yarn进入
spark
shell,但我总是收到这样的错误: Setting default log level to "
浏览 0
提问于2017-06-12
得票数 2
3
回答
未能提交本地jar以激发集群: java.nio.file.NoSuchFileException
、
、
、
~/
spark
/
spark
-2.1.1-bin-hadoop2.7/bin$ ./
spark
-submit --master
spark
://192.168.42.80:32141 --deploy-mode cluster file:///home/me/workspace/myprojUsing
Spark
's default log4j profile: org/
浏览 4
提问于2017-06-20
得票数 6
1
回答
在csvs上用火花有效地执行不同的计数?
、
、
、
如果我做了看上去很明显的事情(将数据加载到数据中): df =
spark
.read.format("CSV").load("s3://somebucket/loadsofcsvdata/*").toDF
浏览 1
提问于2016-10-24
得票数 0
回答已采纳
1
回答
来自IntelliJ IDEA的
Spark
drive K8S集群,无需构建JAR
、
package learn.
spark
conf.set("
spark
.
executor
.instances", "5") conf.set("
spark
.kubernetes
浏览 10
提问于2019-08-23
得票数 4
回答已采纳
1
回答
Airflow
spark
提交操作符
、
、
--conf
spark
.yarn.
executor
.memoryOverhead=5120 --conf
spark
.
executor
.extraJavaOptions=-XX:+UseG1GC--conf
spark
.network.timeout=15000s --con
浏览 21
提问于2021-01-04
得票数 0
回答已采纳
3
回答
星火群应用提交申请
、
我想在集群上运行一个
Spark
结构化流应用程序。硕士和工人有相同的配置。 --class <class-name> --deploy-mode cluster --<
浏览 6
提问于2018-12-07
得票数 0
1
回答
火花中对执行者和任务的内存分配
、
、
、
384现在我试着运行火花壳,将值设置为主纱线,并为执行器内存、num-执行器、执行器芯设置不同值。存储内存,如火花外壳启动日志或每个执行器的
spark
,为6.7GB(即10 GB的67% )。存储内存,如火花外壳启动日志或每个执行器的
spark
,为6.7GB(即10 GB的67% )。存储内存,如火花外壳启动日志或每个执行器的
spark
,为2.7GB(即4GB的67% )。为什么
spark
上看到的内存是执行程
浏览 1
提问于2017-09-15
得票数 4
1
回答
“环境”页面中显示的“
spark
.
executor
.instances”值
在我们的应用程序中,我们提交了具有以下配置值的
Spark
作业:'
spark
.
executor
.cores‘-没有设置'
spark
.
executor
.memory‘- 1g (可用No.of工作节点-每个节点有4个vCores
浏览 1
提问于2022-07-31
得票数 1
2
回答
如何将
配置文件添加到
Spark
1.2.0中所有
Spark
executors的类路径中?
、
、
、
我正在使用Typesafe Config,,通过一个配置文件来参数化在yarn集群模式下运行的
Spark
作业。我可以使用--driver-class-path <directory containing configuration file>将配置文件加载到驱动程序中,但是使用--conf
spark
.
executor
.extraClassPath使用
Spark
将文件添加到所有
executor
JVM的类路径中的正确方法是什么?
浏览 0
提问于2015-07-30
得票数 20
回答已采纳
1
回答
纱线资源管理器的总内存是如何计算的?
、
、
我正在使用aws和
Spark
在一个1 MasterNode,3 WorkerNode配置中运行一个星火集群,而MasterNode是客户端机器。所有4个节点都有8GB的内存和4个核心。考虑
到
硬件设置,我设置如下:
spark
.
executor
.cores = 3
spark
.yarn.
executor
.memoryOverhead我只见过Yarn在运行
Spark
应用程序时使用高达1
浏览 1
提问于2018-05-21
得票数 3
1
回答
将本地机器/容器设置为边缘节点,以便在远程集群上提交
spark
应用程序
、
、
我正在尝试将我的容器设置为边缘节点,以便在我的dev集群上运行
spark
应用程序,其中安装了
Spark
/hadoop(
Spark
2.2.0)。core-site.xml、hdfs-site.xml、丝-site.xml上安装了 tar文件,并将其复制
到
容器本地Setup文件夹中的conf文件夹中。在容器上安装
SPARK
_HOME并指向指向$
SPARK
_HOME/binSetup HADOOP_CONF_DIR的路径,并指向$
spark
_HOME&
浏览 6
提问于2021-02-12
得票数 0
3
回答
星星之火:在没有com.databricks.
spark
.avro的情况下读取avro文件
我想在
spark
中读取avro文件,但不幸的是,我的公司中的集群没有com.databricks.
spark
.avro。所以我试着这就产生了未解决的依赖关系。也试过这不会打开外壳。
spark
.read.format("com.databricks.<e
浏览 1
提问于2018-03-28
得票数 3
回答已采纳
2
回答
YARN没有使用Google Dataproc实例中的所有可用内存
、
、
、
Consider boosting
spark
.yarn.
executor
.memoryOverhead. 为什么YARN没有使用全部104 GB的内存?
浏览 21
提问于2017-01-19
得票数 3
回答已采纳
1
回答
非默认
spark
.
executor
.memory设置的EMR上的电火花代码不起作用?
、
、
TaskSetManager: Lost task 5.0 in stage 3.0 (TID 41, ip-172-31-55-189.ec2.internal): ExecutorLostFailure (
executor
Consider boosting
spark
.yarn.
executor
.memoryOverhead.为了增强内存,在创建conf之前,我将在
Spark
代码中使用以下SparkContext设置。conf.set('
spark
.
executor
.ins
浏览 6
提问于2016-07-17
得票数 0
回答已采纳
1
回答
如何将
JVM选项-Xss512m添加到
spark
-submit?
如何将
JVM选项-Xss512m添加到
spark
-submit?换句话说,我必须在哪里使用
spark
.
executor
.extraJavaOptions和
spark
.driver.extraJavaOptions
浏览 0
提问于2018-04-17
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大画 Spark :: 网络(7)-Spark网络中的“四次握手”Executor注册到Driver过程中的TransportClient与细节过程
Spark 开启动态资源分配
Spark 运行架构以及常用组件
大数据技术,Spark任务调度原理 四种集群部署模式介绍
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券