Spark: spark-submit通过spark-submit将像pandas这样的包发送到所有节点
Spark是一个快速、通用的大数据处理框架，它提供了分布式数据处理和分析的能力。Spark的核心概念是弹性分布式数据集（Resilient Distributed Dataset，简称RDD），它是一个可并行操作的分布式对象集合，可以在集群中进行高效的数据处理。
Spark-submit是Spark提供的一个命令行工具，用于将Spark应用程序提交到集群上运行。通过spark-submit，可以将像pandas这样的包发送到所有节点，以便在分布式环境中使用这些包。
使用spark-submit提交Spark应用程序时，需要指定应用程序的主类、应用程序的jar包、应用程序的依赖包等信息。Spark会将这些信息发送到集群上的所有节点，并在每个节点上启动应用程序的执行器（Executor）来执行任务。
Spark-submit的使用示例：
spark-submit --class com.example.MyApp --master yarn --deploy-mode cluster myapp.jar在这个示例中，--class参数指定了应用程序的主类，--master参数指定了Spark集群的主节点地址，--deploy-mode参数指定了应用程序的部署模式，myapp.jar是应用程序的jar包。
推荐的腾讯云相关产品是腾讯云的云服务器（CVM）和弹性MapReduce（EMR）。云服务器提供了高性能、可扩展的计算资源，可以用来搭建Spark集群；弹性MapReduce是腾讯云提供的大数据处理平台，可以方便地部署和管理Spark集群。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云弹性MapReduce（EMR）产品介绍链接：https://cloud.tencent.com/product/emr
相关·内容
我有个spark的工作是运行pyspark的。我可以传入一个脚本，它将使用任何其他参数(例如，执行器内存、驱动程序内核) spark-submit spark-test1.py --executor-memory 10G --executor-cores可以是任意的包或需要传递给每个节点的包的数量。
当我的脚本import pandas as pd中有该命令时，作
浏览 0提问于2018-07-19得票数 2
我使用了Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
17/02/03 20:39:25 WARN NativeCodeLoader: UnableAs of Spark</em
浏览 7提问于2017-02-04得票数 11
1回答
在边缘节点上提交火花
、、、
我正在通过我的边缘节点提交我的火花提交命令。为此，我使用客户端模式，现在我正在通过我的笔记本电脑访问我的边缘节点(与我的集群位于同一网络上)。我知道驱动程序运行在我的边缘节点上，我想知道的是，为什么当我关闭边缘节点的ssh会话时，我的火花作业会自动挂起？通过VPN/无线互联网开放边缘节点</e
浏览 4提问于2017-03-11得票数 3
回答已采纳
我有Hadoop集群Cloudera CDH 5.2和Apache Spark 1.5.0。我可以使用集群的YARN、Spark和HDFS从IntelliJ IDEA或本地PC上运行我的应用程序吗？
或者我应该通过ftp将jar发送到主节点，然后通过spark-submit运行它？
浏览 0提问于2016-11-03得票数 1
1回答
当我们写这对应于master将发送给所有工作人员以在其分区内执行的任务。为了举个例子，你能做一个简单的map并使用例
浏览 0提问于2018-03-08得票数 1
回答已采纳
我尝试使用命令行df =，并得到了一个错误消息："Avro是内置的，但自Spark2.4以来就有外部数据源模块。请按照“”中的部署部分部署应用程序。我试着解决这个问题，即使在安装了软件包之后也找不到任何解决方案，任何人都请帮助我。谢谢
任何其他最好的方法或建议如何从s3读取avro文件是非常感谢的。
浏览 5提问于2021-03-08得票数 0
我正在使用Cloudera，而Spark版本是2.1.0。at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:234)
at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.sc
浏览 0提问于2017-07-11得票数 3
回答已采纳
在我的项目中，我使用spark- Cassandra -connector从Cassandra表中读取，并将其进一步处理到javaRDD中，但我在处理Cassandra行到JavaRDD时遇到了问题。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748) 我已经将我的spark下面是我的spark
浏览 29提问于2019-04-03得票数 2
我阅读的所有教程都使用AWS在所谓的“Steps”中使用类似于以下命令的命令运行Spark submit：我的教授建议我通过SCP将文件移动到主节点，然后通过</e
浏览 4提问于2017-05-17得票数 4
回答已采纳
2回答
我正在尝试使用spark-submit部署spark job，它有一堆参数，比如我正在寻找一种方法，将所有这些标志放在文件中传递
浏览 24提问于2017-03-16得票数 4
回答已采纳
我尝试使用Spark执行一个简单的Scala脚本，如中所述。in s).count()
我使用以下命令执行此代码：但是，如果我尝试使用Scala做同样
浏览 0提问于2017-06-04得票数 12
1回答
我想在Spark集群上运行Python应用程序，通过spark-submit将其发送到那里。应用程序有几个依赖项，比如pandas、numpy、scikit-learn。确保在提交作业之前安装依赖项的干净方法是什么？
因为我已经使用了virtualenv进行开发，所以可以很容易地生成requirements.txt。
浏览 1提问于2018-04-19得票数 2
1回答
1.4worker节点2.1每个工作节点的核心3.1gb内存为每个节点的4.core_max设置为1
./bin/spark-submit --master spark://-Aspire
浏览 0提问于2017-06-15得票数 0
1回答
我有一个spark应用程序，我正尝试在amazon EMR上运行它。但是我的应用程序失败了，或者进入运行模式，永远不会退出，同样的代码在2-3分钟内就可以在本地机器上运行。我怀疑我创建spark session的方式有问题，我的主会议如下所示 .master("local[2]") .config(&
浏览 1提问于2018-04-09得票数 0
我是新手，需要知道如何将我的EC2作业提交到亚马逊EC2 Spark集群。就像在azure中一样，我们可以通过带有azure插件的IntelliJ idea直接提交作业。
浏览 1提问于2017-05-16得票数 0
对于一个项目，我想通过一个网页运行星火。这里的目标是动态提交请求和状态更新。作为灵感，我使用了以下网站链接:当我请求时，在提交以下火花请求后，我将发送一个REST请求来检查火花提交：curl -X POST http://sparkmasterIP为了请求提交状态，我使用了上面的响应代码中显示的submissionId。$$anon$1.run(DriverRunner.scala:79)",
我的问题是如何使用这样<
浏览 2提问于2017-03-02得票数 0
2回答
下面是我在笔记本中使用的代码的第一部分：from pyspark.streaming import StreamingContext9092"如果运行该单元格，将收到以下错误Include the Kafka library and its dependencies with
浏览 0提问于2018-06-29得票数 1
回答已采纳
2回答
与标题所预期的一样，我有一些问题要提交一个火花作业到一个运行在码头上的星火集群。：
经过一天的尝试，我没有解决，我也不知道在我的工作中想要访问某个卷的位置，就像错误所说的那样
浏览 1提问于2019-02-27得票数 2
1回答
我正试着在电子病历上通过spark-submit运行一个大罐子。我遇到了一个与包依赖相关的问题。这个项目依赖于我在build.sbt中包含的google adwords库。问题是google adwords库在内部依赖于一个名为CLASSPATH1.10的包，但是当我通过spark-submit在EMR上运行这个jar时(它通过yarn scheduler运行)，这个包(的--ja
浏览 25提问于2019-05-22得票数 0
回答已采纳
提前道歉，因为我是新来的火花。我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
我的问题是:如何配置主服务器的属性因为此文件中没有'<e
浏览 10提问于2017-07-26得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
