腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Spark
执行
错误
:
spark-
提交
我正在尝试使用下面的命令从
spark
-shell
执行
一个程序
spark
-submit --class com.aadharpoc.
spark
.UIDStats \ --packages com.databricks:
spark
-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera
浏览 43
提问于2017-07-14
得票数 1
回答已采纳
2
回答
如何将主题中的Kafka gzip压缩消息读入
Spark
Streaming
、
、
、
我确实看到我们需要在生产者端进行更改,以使用Gzip压缩,但我不确定如何在阅读消息时解压。请把灯熄灭,告诉我从哪里开始。我有我的端到端流工作的未压缩的消息。
浏览 0
提问于2017-12-20
得票数 2
3
回答
在
spark
环境中运行python程序时出错
、
、
、
我使用的是
spark
1.3.0。/bin/
spark-
提交
progname.pyNameError:未定义名称'sc‘有什么想法吗?提前感谢
浏览 0
提问于2015-11-17
得票数 1
1
回答
如何通过scala代码获取Hadoop-
spark
作业的跟踪URL或捕获
spark
-submit输出
、
我部署Hadoop-
Spark
集群并运行我的作业。通过
提交
脚本bin/
spark
- submit,我可以成功
提交
spark
作业。我尝试重定向
spark
-submit输出,但它似乎不起作用,就像 ./bin/
spark
-submit --class org.apache.
spark
.examples.mllib.JavaKMeans --master yarn-cluster --num-executors: Strin
浏览 1
提问于2015-11-05
得票数 2
1
回答
无法使用ec2实例在样条中查看火花作业
、
、
我们创建了一个样例pyspark作业,并在ec2实例中给出了火花
提交
命令如下所示 sudo ./bin/
spark-
提交
-- za.co.absa.spline.agent.
spark
:
spark
-3.1-spline-agent-bundle_2.12:0.6.1 --conf“
spark
.sql.queryExecutionListeners=za.co.absa.spline.harvester.listener.SplineQueryExecutionList
浏览 10
提问于2022-08-02
得票数 1
1
回答
Spark
sql join给出内存不足异常
、
然后,我基于一些公共列连接父数据集和子数据集,并
执行
值的修复:当我在本地运行它时,我注意到<
浏览 1
提问于2019-10-25
得票数 0
2
回答
Spark
:线程"main“org.apache.
spark
.sql.catalyst.errors.package中的异常
、
在运行我的
spark-
my代码时,我在
执行
时得到了这个
错误
。我只是好奇地想知道这个TreeNodeException
错误
是什么。Exception in thread “main” org.apache.
spark
.sql.catalyst.errors.package
浏览 2
提问于2017-10-25
得票数 8
1
回答
Azure火花如何配置应用程序重试限制
、
我目前正在运行Azure集群,默认情况下,如果应用程序失败,它会重试5次。我想把这个改为2,你知道怎么做吗?
浏览 5
提问于2017-04-28
得票数 0
回答已采纳
2
回答
尝试使用
Spark
运行JAR文件时找不到类异常
、
从终端运行我的应用程序:出现以下
错误
$.classForName(Utils.scala:239) at org.apache.
spark
.deploy.SparkSubmit$.org$apache$
spark
$deploy$SparkSubmit:198
浏览 2
提问于2018-10-08
得票数 0
1
回答
将从属jars移动到工作节点
、
一旦我将我的
spark
代码jar
提交
给
spark-
submit,那么我是否需要将依赖项的jar也复制到工作节点? 我可以知道从属罐子的移动是如何工作的吗?
浏览 2
提问于2020-05-19
得票数 0
1
回答
在
spark
Scala中以编程方式在电子病历集群级别设置maximizeResourceAllocation=true
、
、
、
我正在尝试找到一种在
spark
scala中在EMR集群级别设置maximizeResourceAllocation=true属性的方法。我在
spark-
maximizeResourceAllocation=true命令中使用了--conf
提交
参数,但看起来没有任何效果。
浏览 7
提问于2021-04-09
得票数 1
1
回答
如何使用yarn rest api
提交
作业到
spark
?我想使用YARN REST API
提交
作业给
spark
、
我正在构建一个用于触发
spark-
job和检查作业状态的接口。 我不能使用像Livy,
spark
job server这样的第三方库。我想通过REST API创建启动和
提交
作业到
spark
集群的API。
浏览 19
提问于2019-10-21
得票数 0
回答已采纳
1
回答
Spark-
提交
执行
时间
、
我在
Spark
上开发了一个Scala程序,它连接了MySQL数据库,提取了大约25万条记录的数据并进行处理。当我从集成开发环境本身(IntelliJ)
执行
应用程序时,它需要大约1分钟来完成作业,而如果我从我的终端通过
Spark
-Sumit
提交
,则需要4分钟。master("local[*]")从终端我应该做什么改变,或者这是正常的行为?
浏览 0
提问于2018-03-29
得票数 0
1
回答
错误
为:-ModuleNotFoundError:在docker中运行Pyspark时没有名为‘Pyspark’的模块
、
、
、
、
获取
错误
的原因如下: 回溯(最近一次调用):文件“/opt/application/main.py”,第6行,来自pyspark import SparkConf,SparkContext ModuleNotFoundError我的dockerfile如下: FROM centosENV
SPARK
_VERSION=2.4.7WORKDIR/
spark-
${
SPARK
_VERSION}/
浏览 52
提问于2021-02-22
得票数 1
回答已采纳
1
回答
如何使用pySpark获取Nats消息(非Scala)
在Scala上编写一个单独的连接器并将输出发送到pySpark是
错误
的。是否有其他方法可以将pySpark连接到Nats?提前谢谢。
浏览 14
提问于2021-05-18
得票数 0
2
回答
在java中没有
spark
-submit也行吗?
、
我听说在"remote-host-num1:7077“上有一个
spark
集群,在"remote-host-num2:7077”"remote-host-num3:7077“上有多个节点。如果我编写一个
执行
以下操作的程序: SparkConf conf = new SparkConf().setAppName("org.sparkexample.TestCount").setMaster创建JavaRDD "myrdd“,然后使用"myrdd.count()”
执行
g
浏览 2
提问于2015-07-18
得票数 14
回答已采纳
1
回答
来自服务器(BadRequest)的
错误
:容器“火花-库伯内特斯-驱动程序”在荚“测试运行-火花”中等待启动:尝试并未能提取映像。
、
、
、
、
/work-dirRUN wget -O
spark-
${
SPARK
_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz https://archive.apache.org/dist/
spark
/
spark-
${
SPARK
_VERSION}/
spark-
${
SPARK</e
浏览 12
提问于2022-08-07
得票数 0
回答已采纳
1
回答
在
spark
集群中配置主节点
我已经在独立模式下创建了一个包含4个worker的
spark
集群,在成功配置worker属性之后,我想知道如何配置master属性。我正在编写一个应用程序,并使用SparkSession.builder将其连接到集群(我不想使用
spark-
submit
提交
它)。我知道工作进程可以在conf/
spark
-env.sh文件中配置,并且具有可以设置的参数,例如'
SPARK
_WORKER_MEMORY‘和'
SPARK
_WORKER_CORES’ 我的问题是:如何配
浏览 10
提问于2017-07-26
得票数 1
回答已采纳
2
回答
如何从
spark
-shell/
spark
-submit运行交互式
spark
应用程序
我有一个
spark
应用程序,它读取大量数据,将其加载到内存中,并在两者之间设置所有内容,以便用户多次查询内存中的数据帧。查询完成后,控制台上会提示用户继续输入新的输入集或退出应用程序。但是,我可以从
spark
-shell运行这个交互式
spark
应用程序吗?谢谢!
Spark
session available as '
spark
'. That file does
浏览 1
提问于2017-05-16
得票数 1
0
回答
Spark-
提交
属性-文件
、
我曾尝试使用配置文件中指定的属性运行
spark
-submit,但未成功。我可以使用以下命令
提交
作业:--class MyClass \--files test.config\但当我将其复制到我的属性文件时: <em
浏览 3
提问于2018-07-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券