腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark-Submit
:
无法
使用
virtualenv
运行
、
、
、
、
我有一个python应用程序,我想
使用
spark submit通过虚拟环境
运行
它。以下是我的命令 PYSPARK_PYTHON=./venv/bin/python
spark-submit
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=.现在,当我
运行
spark-submit
命令时,我在控制台上得到以下内容 20/01/28 17:08:12 INFO org.apache.hadoop.yarn.client
浏览 17
提问于2020-01-29
得票数 3
回答已采纳
2
回答
如何在pyspark中提交tar.gz文件
、
、
、
我在客户端部署模式,我想提交一个包含tar.gz的应用程序,其中包含
运行
时,代码和库。其目的不是针对特定的python
运行
时依赖于spark集群(例如,spark集群有Python3.5版本,而我的代码需要3.7版本)或没有安装在集群上的库。
浏览 0
提问于2020-09-22
得票数 0
1
回答
使用
virtualenv
在yarn/spark集群模式下
运行
python
、
、
、
我在yarn/spark上的python应用程序
无法
识别在工作节点上创建虚拟环境的requirements.txt文件,并继续
使用
全局环境。任何帮助解决这个问题的人都将不胜感激。Spark版本: 2.0.1/usr/bin/
spark-submit
--master yarn --deploy-mode client --conf spark.pyspa
浏览 0
提问于2017-07-20
得票数 1
1
回答
在
spark-submit
之前安装pyspark作业要求
、
、
、
、
我想在Spark集群上
运行
Python应用程序,通过
spark-submit
将其发送到那里。应用程序有几个依赖项,比如pandas、numpy、scikit-learn。因为我已经
使用
了
virtualenv
进行开发,所以可以很容易地生成requirements.txt。
浏览 1
提问于2018-04-19
得票数 2
1
回答
在pyspark作业中传送和
使用
virtualenv
、
、
问题:我试图从我的本地机器
运行
一个
spark-submit
脚本到一个机器集群。集群所做的工作
使用
numpy。Original error was: cannot import name multiarray$SPARK_HOME/bin/
spark-submit
\
浏览 0
提问于2017-09-07
得票数 9
回答已采纳
3
回答
需要帮助
运行
火花-在Apache气流中提交
、
、
、
、
我是Python的一个相对较新的用户,很难让
spark-submit
在气流任务中
运行
。时,它成功地
运行
。我也尝试过
使用
SparkSubmitOperator(...)在
spark-submit
...任务中
运行
spark-submit
...命令之前,是否必须
使用
BashOperator(...)进行操作?有办法直接从
spark-submit
任务
运行
我的SparkSubmitOperator(...)命令吗? 在气流
浏览 0
提问于2019-08-28
得票数 1
回答已采纳
1
回答
在Spark executor节点上安装Python依赖项的最简单方法?
、
、
、
、
我知道你可以
使用
Python Spark程序将单个文件作为依赖项发送。但是,成熟的库(例如numpy)呢? Spark有没有办法
使用
提供的包管理器(例如pip)来安装库依赖项?
浏览 3
提问于2015-04-07
得票数 37
回答已采纳
2
回答
未在PySpark中加载的扩展程序:没有名为elephas.spark_model的模块
、
、
、
、
我试图在集群上分发Keras培训,并为此
使用
Elephas。但是,当从文档
运行
基本示例时:rdd = to_simple_rdd(sc, x_train, y_trainI also upload the zip file of the virtual environment and call it within the script:
virtualenv
浏览 0
提问于2018-03-06
得票数 1
回答已采纳
1
回答
如何在
virtualenv
中为pyspark
运行
spark-submit
?
、
、
有没有办法在
virtualenv
中
运行
spark-submit
(从HDP3.1.0开始的spark v2.3.2 )?在
virtualenv
中有
使用
python3 (和一些特定库) python文件的情况(以便将库版本与系统的其余部分隔离)。我想用/bin/
spark-submit
运行
这个文件,但尝试这样做时,我得到... [me@airflowetl tests]$ source ../venv/bin/activa
浏览 98
提问于2019-12-13
得票数 1
回答已采纳
1
回答
在Windows 10中
运行
Spark和Ipython :异常: worker中的Python版本3.4与驱动程序3.5中的版本不同
、
、
、
当我最终
运行
代码时warsCount = file.filter(lambda line:"war" in line64行的错误,在主异常中: worker中的"C:\Spark\python\lib\pyspark.zip\pyspark\worker.py",版本3.4与驱动程序3.5中的版本不同,PySpark
无法
使用
不同的次要版本
运行
浏览 0
提问于2016-07-08
得票数 0
1
回答
使用
livy向AWS EMR提交虚拟环境中的pyspark作业
、
、
、
、
我已
使用
以下AWS文档配置创建了EMR集群 "Classification": "livy-conf", "livy.spark.deploy-modepost请求
使用
livy提交pyspark作业时 'file': self.py_file,'name': self.job_name/
浏览 3
提问于2018-10-16
得票数 4
1
回答
如何按顺序
运行
spark作业?
、
、
一个作业
使用
一个工人。目前,我一次提交了30个作业,5个作业正在
运行
,25个作业正在等待。但是,此操作会给服务器带来沉重的负载。(有时
无法
分配作业端口并发生错误。)是否有可能在一次
运行
5个部件的情况下减少负载?当前我的
运行
代码:: ~/
spark-submit
~test1.py & ~/
spark-submit
~test2.py & ~/
spark-submit
~testN.py & ...~
浏览 28
提问于2020-11-30
得票数 0
回答已采纳
1
回答
调度电火花记事本
、
、
、
、
目前,我们正在
使用
oozie通过色调在Hadoop上
运行
这些笔记本。这种设置感觉不太理想,我们想知道是否有其他的选择。set -e source /usr/local/
virtualenv
/py
浏览 4
提问于2016-06-17
得票数 2
回答已采纳
1
回答
无法
运行
"
spark-submit
“命令
我已经正确地完成了所有的工作,但是当我尝试
运行
spark-submit
时,我想可能是java出了问题。当我
运行
以下命令时: (base) C:\SparkCourse>
spark-submit
ratings-counter.py 我得到了这个错误: Exception in thread "main"
浏览 297
提问于2021-10-12
得票数 -1
1
回答
PySpark找不到卡夫卡的来源
、
、
、
Usage:
spark-submit
[options] <app jar | python file | R file> [app arguments] Options:
浏览 30
提问于2022-01-23
得票数 1
回答已采纳
1
回答
在Spark程序中访问Oozie配置
、
、
我正在尝试
使用
Scala中的sys.env()方法通过Spark程序访问它。当我没有Oozie调度时,我能够正确地访问Spark中的环境变量。然而,当我尝试
使用
Oozie调度我的程序时,程序抛出一个错误,它
无法
读取环境变量。
浏览 1
提问于2020-01-14
得票数 0
1
回答
在Python中
使用
restful服务发布Spark
、
、
使用
此服务,我想用
spark-submit
调用另一个python脚本,但它不起作用。request.form.get('imageID') if __name__ == '__
浏览 0
提问于2018-02-23
得票数 3
回答已采纳
2
回答
spark-
使用
特定的python库提交
、
、
我想在我的集群上执行这段代码,它
运行
在mesos下。 我确实有我的python环境的压缩版本,它位于我的集群可访问的http服务器上。我在指定我的
spark-submit
查询来
使用
这个环境时遇到了一些麻烦。我既
使用
--archives加载压缩文件,又
使用
--conf 'spark.pyspark.driver.python=path/to/my/env/bin/python'加上--conf 'spark.pyspark.py
浏览 9
提问于2018-02-06
得票数 3
1
回答
如何在虚拟环境中选择合适的Python版本?
、
、
、
我创建一个虚拟环境并
运行
PySpark脚本。如果我在MacOS上执行这些步骤,一切都会很好。但是,如果我在Linux (Ubuntu 16)上
运行
它们,则会选择不正确的Python版本。PYSPARK_PYTHON=python3 那我就做:pip3 install
virtualenv
2.4.0-bin-hadoop2.7.tgz tar -xvzf spark-2.4.0-bin-hadoop
浏览 0
提问于2018-12-10
得票数 0
回答已采纳
1
回答
安装烧瓶结构
、
、
我遵循的是
virtualenv
方法,而不是系统范围的安装。我只是不明白
virtualenv
的结构是什么,以及它和Flask有什么关系。 我
运行
了一个目录中的所有命令。这是否意味着
virtualenv
、Flask和Jinga2都只能在该目录下
运行
?这是否意味着我每次在项目目录中启动一个flask项目时都需要设置
virtualenv
和flask?
浏览 3
提问于2012-08-25
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
广泛使用的AI机器学习方法无法正常运行
Django搭建个人博客
大数据技术,Spark任务调度原理 四种集群部署模式介绍
PaddlePaddle踩坑指北系列——MacOS安装
如何在CDH集群上部署Python3运行环境及运行Python作业
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券