腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Dockerfile
中
安装
pyspark
、
、
、
我有一个
Dockerfile
,如下所示 FROM python:3.7 RUN apt-get install default-jdk -y RUN pip install -r requirements.txt 我
在
GitLab上的CI管道中使用了它,它工作得很好。我应该如何更新我的
Dockerfile
,以便它现在可以正确
安装
pyspark
?编辑 错误示例: /usr/local
浏览 15
提问于2019-10-08
得票数 1
回答已采纳
1
回答
使用
pyspark
lib构建docker镜像时出现问题
、
、
、
、
我
在
requirement.txt文件中有以下依赖项 scikit-learn==0.21.2pandas==0.24.2pypandoc
pyspark
==2.4.1 但是当我尝试
安装
pyspark
时,我的构建过程失败了,并显示以下错误消息 Downloading https://repo.company.com/repository/pypi-all/packages/f2/64
浏览 63
提问于2019-06-18
得票数 0
2
回答
涉及
pyspark
- JAVA_HOME的CI/CD测试未设置
、
、
、
、
我正在从事一个使用
pyspark
的项目,并希望设置自动化测试。要求我
在
电脑上
安装
JAVA8或更高版本。我已经
在
本地设置好了,关于CI过程
中
的but...what?如何
安装
Java才能正常工作?add-apt-repository ppa:webupd8team/javaRUN apt-get install oracle-java8-installer 添加到创建镜像的
Dockerfile
如何修改
Doc
浏览 41
提问于2019-08-27
得票数 3
回答已采纳
1
回答
在
dockerfile
中
配置星火
、
、
、
、
import
pyspark
print(df) 但是,公开凭据并设置所有jars和类似上述方法的包似乎不是一个好方法,因此我希望
在
启动对接容器时设
浏览 5
提问于2022-06-04
得票数 0
1
回答
在
码头集装箱
中
安装
pyspark
+ pytest
、
、
、
我试着用pytest来测试我的
pyspark
代码,但是无法找到正确的
安装
步骤和方法。我能够让这个
在
我的Mac电脑上使用这个
在
本地工作。我尝试了两种方法来完成这个任务: 对于(2),由于bitnami不
浏览 3
提问于2022-05-25
得票数 2
2
回答
如何永久更改docker容器
中
的$PATH
、
我简化的
dockerfile
是这样的: FROM python:3.6.8-slim-stretch echo export SPARK_HOME='/usr/local/lib/python3.6/site-packages/
pyspark
这个镜像可以用d
浏览 60
提问于2019-06-12
得票数 1
回答已采纳
2
回答
如何使用
Dockerfile
和python获得JAVA_HOME集?
、
、
、
我正在尝试为我的项目设置一个
Dockerfile
,并且不确定如何在容器
中
设置一个JAVA_HOME。numpykafkalogfrom
pyspark
import SparkConf, SparkContextsc = S
浏览 0
提问于2018-11-21
得票数 0
回答已采纳
1
回答
我如何实现包含火花依赖关系的python脚本呢?
、
、
、
我试图通过Docker文件
安装
Java,但它也出现了错误。下面是我试图执行的
Dockerfile
。Samplespark.py /opt/ml/Samplespark.py RUN pip install numpyRUN pip install sagemaker_
pyspark
CMD [ &q
浏览 0
提问于2018-02-26
得票数 2
回答已采纳
1
回答
无法使用findspark.init运行停靠映像
、
、
、
该程序
在
本地机器上运行良好。当我尝试
在
没有findspark函数的情况下制作程序时,我会得到与Spark相关的其他错误。libraries and then import findspark from
pyspark
.sql.functions import * from <
浏览 10
提问于2021-12-19
得票数 1
回答已采纳
2
回答
如何在我的码头映像
中
安装
postgresql?
、
、
、
我正试图
在
我的spark application.But
中
从Postgresql
中
获取数据,现在我很困惑如何在我的码头映像
中
安装
postgresql驱动程序。我还尝试将postgresql
安装
为apt-get
安装
命令,如下所述(
Dockerfile
)。
Dockerfile
: ENV SPARK_HADOOP_PROFILE 2.7 ENV SPARK_SR
浏览 1
提问于2018-12-25
得票数 1
回答已采纳
1
回答
公司代理错误下载与Delta Lake相关的Jars
、
、
、
、
我正在尝试建立一个本地的开发环境,
在
码头与火星雨和三角洲湖。
pyspark
= {version = "==3.2.2", index = "artifactory-pypi"}ENV HTTP_PROXY=proxyurl根据,Maven不遵守http_proxy env变量,答案表明OP
在
某些配置文
浏览 7
提问于2022-08-26
得票数 1
回答已采纳
1
回答
Tensorflow 2.4.1和R 4.1.1
在
Anaconda的冲突
、
、
、
能否
在
Anaconda
中
同时
安装
Tensorflow (2.4.1 )和R (4.1.1)的最新版本?FROM jupyter/
pyspark
-notebook:notebook-6.4.2 ENV R_LIBS_USER $SPARK_HOME-f "minimal.
dockerfile
" -t minimal:latest运行此操
浏览 3
提问于2021-08-18
得票数 0
回答已采纳
1
回答
通过Jenkins运行时,docker
中
的Spark "java网关进程
在
向驱动程序发送其端口号之前退出“。
、
、
、
、
我正在创建一个
安装
了java8和spark的
dockerfile
,并将环境变量设置为ENV PATH=$SPARK_HOME/bin:$PATH当我
在
docker
中
运行我的spark作业时,它起作用
浏览 0
提问于2018-06-21
得票数 3
2
回答
Pyspark
与Jupyter的集成
、
我已经
在
我的机器上
安装
了Anaconda(Python2.7版本),并用"
PYSPARK
_DRIVER_PYTHON=jupyter“和
PYSPARK
_DRIVER_PYTHON_OPTS=" notebook我已经
安装
了
pyspark
并在我的windows机器(独立模式)的命令提示符
中
运行,它的工作fine.....but我需要在jupyter notebook(windows)
中
运行。有人能帮我吗??
浏览 1
提问于2017-04-04
得票数 1
1
回答
如何在主机服务器上连接Zeppelin镜像和cassandra
、
、
、
、
Docker对我来说是一个新事物,我甚至没有一般的技能,但我正在尝试使用一些已
安装
的库来创建特定的Zeppelin映像。这是我的
Dockerfile
:ENV SPARK_VERSION=2.4.6 apt-get install sudo ENV SPARK_HOME=/opt/conda/lib/python3.7/site-packages
浏览 2
提问于2020-08-21
得票数 1
1
回答
火花kubernetes java.io.InvalidClassException: org.apache.spark.scheduler.cluster.CoarseGrainedClusterMessages$RetrieveSparkAppConfig$
、
、
我试图针对Kubernetes集群
中
的节点运行一个
pySpark
作业,但是当我试图创建一个
pyspark
.sql.SparkSession时,日志会被错误淹没:/bin/docker-image-tool.sh -p kubernetes/dockerfiles/spark/bindings/python/
Dockerfile</em
浏览 1
提问于2020-06-17
得票数 1
1
回答
如何使用python
中
的
dockerfile
安装
java 8:3.8-slim-buster基映像
、
、
、
、
下面是我的
Dockerfile
WORKDIR /appRUN apt-get install java-1.8.0-openjdk-develRUN pip install --default-timeout=100
pyspark
我想
安装
java 8并设置JAVA_HOME变量。请建议上述
Dockerfile
有什么问题。我正在研究
浏览 13
提问于2021-03-21
得票数 2
1
回答
如何在Docker容器
中
定位openjdk?
、
、
我尝试运行
pyspark
application.For,首先我从pip
安装
了
pyspark
,然后拉出openjdk:8来设置JAVA_HOME变量。
Dockerfile
: FROM python:3 COPY requirements.txt ./ ENV JAVA_HOME /usr/lib/jvm/java/my_script.py" ] my_script.py: from
pyspa
浏览 22
提问于2018-12-24
得票数 0
回答已采纳
3
回答
没有星火
PySpark
能工作吗?
、
我已经
安装
了
PySpark
独立/本地(
在
Windows上)我感到有点惊讶,我已经可以
在
命令行
中
运行
pyspark
,或者
在
木星笔记本中使用它,而且它不需要
安装
一个适当的(例如,我不需要执行本教程
中
的大部分步骤 )。我遇到的大多数教程都说需要“
在
安装
PySpark
之前
安装
火花”。这将同意我的观点,即
浏览 1
提问于2018-08-07
得票数 36
回答已采纳
4
回答
pyspark
: pip
安装
找不到版本
、
我正在尝试使用pip install
安装
pyspark
,如下所示。但是我得到了以下错误。(python_virenv)edamame$ pip install
pyspark
Could not find a version that satisfiesthe requirement
pyspark
(from versions: )有谁知道吗?
浏览 7
提问于2016-07-16
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
禁止在IPTV中安装违规App
Pandas库在Anaconda中的安装方法
在Pentaho数据集成中安装MySQL JDBC驱动
在虚拟机中快速安装 Ubuntu 18.04
在 Linux 中轻松搜索和安装 Google Web 字体
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券