腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
python
可执行文件
提交
Spark
作业
,
而
不是
spark-submit
、
、
什么时候可以
使用
python
3
可执行文件
(例如
python
3 myApp.py
而
不是
spark-submit
myApp.py?)
提交
pyspark
作业
?是什么原因使得在某些情况下需要
使用
spark-submit
?
使用
集成开发环境
可执行文件
调用应用程序使得
使用
PyCharm之类的
python
3调试程序变得更容易(据我所知)。
浏览 62
提问于2021-02-06
得票数 0
1
回答
Spark
提交
到远程纱线
、
、
由此,我可以
使用
以下命令将
spark
作业
提交
到我的prod集群现在,我想从这台客户机向我的dev集群
提交
相同的
作业
。我试着用但这似乎不起作用,我的工作仍在
提交
到prod如何
浏览 1
提问于2016-11-17
得票数 0
1
回答
如何获得火花SUBMISSION_ID与火花
提交
?
许多地方都需要SUBMISSION_ID,比如和
Spark
。但是,当我
使用
SUBMISSION_ID命令
提交
火花
作业
时,如何获得这个
spark-submit
呢?.: 我
使用
python
[popen][2]启动
spark-submit
作业
。我想要SUBMISSION_ID,这样我的
python
程序就可以通过REST:<ip>:6066/v1/submissions/statu
浏览 1
提问于2019-03-13
得票数 1
回答已采纳
1
回答
将
Spark
作业
提交
到远程的FileNotFoundException
、
、
我已经撞上了气流容器,我正在
使用
下面给出的命令在位于ip的
spark
master上运行wordcount.py,该ip是我在检查网桥网络后发现的。
spark-submit
--master
spark
://ipaddress:7077 --files usr/local/airflow/sample.txt /opt/
spark
-2.4.1/examples/src/main/
pytho
浏览 2
提问于2020-07-25
得票数 2
1
回答
如何
使用
火花
提交
提交
火花源
作业
?
、
、
我正在
使用
星火2.4.3版本。这个命令足够
提交
作业
了吗?在哪里
提交
这条命令?
浏览 5
提问于2020-01-09
得票数 0
2
回答
无法启动--在s3桶上
提交
pyspark文件
、
、
、
、
当我在主节点上
提交
电火花代码时,
作业
成功完成,输出存储在S3桶上的日志文件中。但是,当我
使用
这些-(在SSH-ing之后在终端上
使用
下面的命令向主节点
提交
S3存储桶上的pyspark代码)时, at org.apache.
spark
.deploy.SparkSubmit.org$apache$
spark
$deplo
浏览 15
提问于2020-07-02
得票数 0
0
回答
运行未在UI中显示的
spark
作业
、
我已经
提交
了我在这里提到的
spark
作业
,bin/
spark-submit
--class DataSet BasicSparkJob-assembly-1.0.jar没有提到--master参数或
spark
.master
而
不是
将
作业
提交
到我3节点
spark
集群。但我想知道它在哪里
提交
作业
,因为它在Running Applications中没有显示任何信息
浏览 7
提问于2016-07-11
得票数 4
回答已采纳
1
回答
火花
提交
可以用作
作业
调度程序吗?
我有一个火花独立集群,没有安装其他
作业
调度程序。我想知道
spark-submit
是否可以用作火花
作业
和非火花
作业
的
作业
调度程序(例如,
不是
为
spark
编写的scala,也
不是
不
使用
RDD的)?根据我的测试,
spark-submit
被用来
提交
非火花
作业
并成功地运行
作业
.但以下是我的问题: 下面的选项仍然有意义吗?--driver-cores --driver-m
浏览 3
提问于2017-09-14
得票数 0
回答已采纳
1
回答
即使内部任务返回错误,气流仍将DAG标记为成功。
、
所以我有一个DAG,它
使用
BashOperator在我们的服务器上触发一个火花
作业
。
spark
作业
从S3存储桶中读取数据,该桶被隔离到按天划分的分区中并执行操作,如果桶中没有数据,则返回一个'path不退出‘错误,即如果桶中没有数据。$$anonfun$org$apache$
spark
$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary$1.apply($$anonfun$org$apache$
spark</
浏览 4
提问于2022-11-17
得票数 0
2
回答
spark-submit
流程在
作业
完成后不会自动终止
、
、
我在yarn的客户端模式下
使用
spark-submit
提交
一个pyspark
作业
。
spark-submit
\ --master yarn \ --deploy-mode client,我可以在
Spark
历史以及Yarn中验证这一点。即使在Job完成之后,我仍然看到
spark-submit
进程在运行,并且它不会终止。 我希望从调用
提交
作业</e
浏览 333
提问于2020-10-02
得票数 0
1
回答
如何按顺序运行
spark
作业
?
、
、
我正在
提交
多个
Spark
作业
。一个
作业
使用
一个工人。目前,我一次
提交
了30个
作业
,5个
作业
正在运行,25个
作业
正在等待。但是,此操作会给服务器带来沉重的负载。(有时无法分配
作业
端口并发生错误。)当前我的运行代码:: ~/
spark-submit
~test1.py & ~/
spark-submit
~test2.py & ~/
s
浏览 28
提问于2020-11-30
得票数 0
回答已采纳
2
回答
spark-submit
和pyspark有什么区别?
、
、
然而,如果我试图通过命令行和
spark-submit
来做同样的事情,我会得到一个错误: File "/usr/local/
spark
/
python
/pyspark/rdd.py", line 352, in fun
浏览 0
提问于2014-11-04
得票数 20
3
回答
如何
使用
Spark-submit
命令获取
提交
给
Spark
集群的
作业
的应用Id/Job Id?
我正在
使用
spark-submit
命令
提交
Apache
Spark
作业
。我想检索
使用
spark-submit
命令
提交
的
作业
的应用程序Id或Job Id。推荐的方式是什么?
浏览 0
提问于2018-09-08
得票数 4
1
回答
在POST/批请求中
使用
现有的SparkSession
我试图
使用
Livy远程
提交
几个
Spark
作业
。假设我希望远程执行
spark-submit
任务(包括所有选项)--class com.company.drivers.JumboBatchPipelineDriver我用来做这个 我知道我可以
使用
spark-submit
Livy 提供上述Livy命令中的所有选项。如何利用我
使用
POST/sessions请求创建的POST/ses
浏览 0
提问于2018-08-08
得票数 1
回答已采纳
1
回答
Spark
作业
仅在主服务器上运行
、
、
、
我有几个
python
作业
需要用
spark
来执行。不过,
python
代码并没有
使用
任何
spark
特定的分布式库。它只是
使用
pandas、scipy和sklearn来操作数据。我
使用
以下命令
提交
要触发的
作业
:
spark-submit
--master
spark
://ip:7077
python
_code.py 当我
提交
几个这样的
浏览 2
提问于2016-04-29
得票数 0
1
回答
在snappy/snappy中创建的表不会显示智能连接器模式\ java。
/hdp/2.6.2.0-205/
spark
2/bin/
spark-submit
--conf --conf snappydata.connection=localhost:1527 --conf
spark
.ui.port/* --class myclass 在集群模式下初始化SnappyData :智能连接器模式: sc = org.apache.
spark
.SparkContext@164d01
浏览 0
提问于2018-05-09
得票数 2
2
回答
有没有
使用
API
提交
spark
作业
的方法
、
、
、
、
我可以
使用
控制台在linux服务器上
提交
spark
作业
。但是在linux服务器上有没有什么API或者框架可以用来
提交
spark
作业
呢?
浏览 0
提问于2017-01-04
得票数 0
1
回答
Spark-submit
main类中的主url和SparkSession主url,有什么区别?
在
使用
spark-submit
提交
作业
时,我设置了主URL,并为他提供了一个主类,例如:但是在这个主类中,我的
spark
上下文定义了另一个主url: SparkSession.builder().appName("Word2vec").master("local"
浏览 1
提问于2016-08-08
得票数 8
回答已采纳
1
回答
导入工作人员中运行的代码的模块。
、
我编写了一个简单的
作业
,它
使用
使用
模块的自定义函数过滤rdd。 将导入放入筛选器函数中可以工作,但看起来不太好
浏览 3
提问于2015-06-09
得票数 3
1
回答
Spark
独立和虚拟环境
、
通过将
spark
集群配置为
spark
-standalone,我们正在尝试配置
spark-submit
作业
以利用由pipenv管理的虚拟环境。当前的尝试包括压缩虚拟环境(zip -r site.zip .venv)以包含
python
可执行文件
和所有站点包,并将其发送给执行器。
spark-submit
命令当前为: PYSPARK_DRIVER_
PYTHON
=./.venv/bin/
python
\
s
浏览 12
提问于2018-02-14
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在CDH集群上部署Python3运行环境及运行Python作业
每天读一本:Spark快速大数据分析
Spark简史:从AMP lab到大数据王者
大数据技术,Spark任务调度原理 四种集群部署模式介绍
【云原生】Spark on k8s 讲解与实战操作
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券