我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera&#
浏览 43提问于2017-07-14得票数 1
回答已采纳
我确实看到我们需要在生产者端进行更改，以使用Gzip压缩，但我不确定如何在阅读消息时解压。请把灯熄灭，告诉我从哪里开始。我有我的端到端流工作的未压缩的消息。
浏览 0提问于2017-12-20得票数 2
3回答
我使用的是spark 1.3.0。/bin/spark-提交progname.pyNameError:未定义名称'sc‘有什么想法吗？提前感谢
浏览 0提问于2015-11-17得票数 1
我部署Hadoop-Spark集群并运行我的作业。通过提交脚本bin/ spark - submit，我可以成功提交spark作业。我尝试重定向spark-submit输出，但它似乎不起作用，就像
./bin/spark-submit --class org.apache.spark.examples.mllib.JavaKMeans --master yarn-cluster --num-executors: Strin
浏览 1提问于2015-11-05得票数 2
1回答
我们创建了一个样例pyspark作业，并在ec2实例中给出了火花提交命令如下所示
sudo ./bin/spark-提交-- za.co.absa.spline.agent.spark:spark-3.1-spline-agent-bundle_2.12:0.6.1 --conf“spark.sql.queryExecutionListeners=za.co.absa.spline.harvester.listener.SplineQueryExecutionList
浏览 10提问于2022-08-02得票数 1
在运行我的spark- my代码时，我在执行时得到了这个错误。我只是好奇地想知道这个TreeNodeException错误是什么。Exception in thread “main” org.apache.spark.sql.catalyst.errors.package
浏览 2提问于2017-10-25得票数 8
我目前正在运行Azure集群，默认情况下，如果应用程序失败，它会重试5次。我想把这个改为2，你知道怎么做吗？
浏览 5提问于2017-04-28得票数 0
回答已采纳
从终端运行我的应用程序：出现以下错误$.classForName(Utils.scala:239)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit:198
浏览 2提问于2018-10-08得票数 0
1回答
一旦我将我的spark代码jar提交给spark- submit，那么我是否需要将依赖项的jar也复制到工作节点？
我可以知道从属罐子的移动是如何工作的吗？
浏览 2提问于2020-05-19得票数 0
我正在尝试找到一种在spark scala中在EMR集群级别设置maximizeResourceAllocation=true属性的方法。我在spark- maximizeResourceAllocation=true命令中使用了--conf提交参数，但看起来没有任何效果。
浏览 7提问于2021-04-09得票数 1
我正在构建一个用于触发spark- job和检查作业状态的接口。
我不能使用像Livy，spark job server这样的第三方库。我想通过REST API创建启动和提交作业到spark集群的API。
浏览 19提问于2019-10-21得票数 0
回答已采纳
1回答
我在Spark上开发了一个Scala程序，它连接了MySQL数据库，提取了大约25万条记录的数据并进行处理。当我从集成开发环境本身(IntelliJ)执行应用程序时，它需要大约1分钟来完成作业，而如果我从我的终端通过Spark-Sumit提交，则需要4分钟。master("local[*]")从终端我应该做什么改变，或者这是正常的行为？
浏览 0提问于2018-03-29得票数 0
获取错误的原因如下： 回溯(最近一次调用)：文件“/opt/application/main.py”，第6行，来自pyspark import SparkConf，SparkContext ModuleNotFoundError我的dockerfile如下： FROM centosENV SPARK_VERSION=2.4.7WORKDIR/spark-${SPARK_VERSION}/
浏览 52提问于2021-02-22得票数 1
回答已采纳
在Scala上编写一个单独的连接器并将输出发送到pySpark是错误的。是否有其他方法可以将pySpark连接到Nats？提前谢谢。
浏览 14提问于2021-05-18得票数 0
我听说在"remote-host-num1:7077“上有一个spark集群，在"remote-host-num2:7077”"remote-host-num3:7077“上有多个节点。如果我编写一个执行以下操作的程序：
SparkConf conf = new SparkConf().setAppName("org.sparkexample.TestCount").setMaster创建JavaRDD "myrdd“，然后使用"myrdd.count()”执行g
浏览 2提问于2015-07-18得票数 14
回答已采纳
/work-dirRUN wget -O spark-${SPARK_VERSION}-bin-hadoop${HADOOP_VERSION}.tgz https://archive.apache.org/dist/spark/spark-${SPARK_VERSION}/spark-${SPARK</e
浏览 12提问于2022-08-07得票数 0
回答已采纳
我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群(我不想使用spark- submit提交它)。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
我的问题是:如何配
浏览 10提问于2017-07-26得票数 1
回答已采纳
我有一个spark应用程序，它读取大量数据，将其加载到内存中，并在两者之间设置所有内容，以便用户多次查询内存中的数据帧。查询完成后，控制台上会提示用户继续输入新的输入集或退出应用程序。但是，我可以从spark-shell运行这个交互式spark应用程序吗？谢谢!Spark session available as 'spark'.
That file does
浏览 1提问于2017-05-16得票数 1
0回答
我曾尝试使用配置文件中指定的属性运行spark-submit，但未成功。我可以使用以下命令提交作业：--class MyClass \--files test.config\但当我将其复制到我的属性文件时：
<em
浏览 3提问于2018-07-21得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
