我有一个HDP集群，其中安装了2.6.0.3。在其中一个没有连接到Ambari的网关节点上，我安装了hdp堆栈。在安装过程中，我安装了spark2。到目前为止一切都很好。但是当我查看它的时候，我没有发现其中有任何python或pyspark包吗？我必须单独安装它们吗？为什么pyspark包没有从HDP2.6.0.3-8堆栈<em
浏览 18提问于2020-02-26得票数 0
：
导出PYSPARK_PYTHON=/home/hadoop/.virtualenvs/$PROJECT/bin/python _ PROJECT=example _ co
浏览 3提问于2018-04-05得票数 1
回答已采纳
2回答
找不到Pyspark模块
、、、、
我正试图在Yarn中执行一个简单的Pyspark作业。worker:PYTHONPATH was:
/usr/local/hadoop_store/tmp//python/lib/pyspark.zip/pyspark/rdd.py",
浏览 2提问于2015-09-02得票数 5
我正在尝试用HDP2.6.1来构建一个边缘节点。除了星火支持之外，一切都是可用和运行的。我能够安装和运行pyspark，但只有当我评论enableHiveSupport()时才能这样做。/current/spark2-client/python/pyspark/shell.py", line 43, in <module>
spark = SparkSession.buil
浏览 0提问于2017-10-27得票数 0
回答已采纳
1回答
运行以下简单代码将给出pyspark interpreter not found错误a = 1+3
CLI中的Pyspark (使用spark 1.6.0和python 2.
浏览 0提问于2016-07-05得票数 4
我有一个Elasticsearch集群，它已经安装并运行。现在我想在Ambari中添加Elasticsearch作为服务，这样我就可以通过Ambari Web UI管理Elasticsearch的操作(例如，启动或停止)。
我该怎么做呢？有什么帮助吗？
浏览 1提问于2016-04-21得票数 0
1回答
我正在尝试编写一个Python实用函数，它接受本地定义类的对象，并在PySpark DataFrame withColumn调用中使用该类的一个方法作为用户定义函数(UDF)。将生成一个很长的Python堆栈跟踪，开始时如下所示：
浏览 1提问于2018-10-02得票数 1
我使用的是HDP版本: 2.6.4res0: String = 2.2.0.2.6.4.0-91zeppelin.pyspark.python: /usr/local/Python-3.4.8/bi
浏览 0提问于2018-05-30得票数 1
回答已采纳
我有以下情况:我想使用Anaconda3与齐柏林飞艇和星火。我安装了以下组件：
Python2.7附带了HDP 2.5，可以在&#
浏览 2提问于2017-11-09得票数 4
回答已采纳
我正在尝试安装开源hadoop或从源代码构建HDP，以便由ambari安装。我可以看到，可以使用apache repos中提供的文档为每个组件构建java包，但是如何使用这些文档来构建由hortonworks提供的rpm/deb包，以便由ambari安装HDP发行版。
浏览 2提问于2020-05-15得票数 2
我是Apache和MLlib的新手，我正在尝试构建一个模型，以便对数据集进行有监督的分类。我的问题是，我在互联网上找到的所有例子都是关于如何处理回归问题的解释，而且总是用数值来解释。但我有下一个背景：
我已经安装了HDP发行版(Hortonworks)，我正在ZEPPELIN工作，使用的是火花放电解释器。我有一个具有'double‘和' string’类型的属性的</em
浏览 2提问于2016-10-12得票数 0
3回答
从我的终端，我运行snotebook，它将自动加载木星。在此之后，当我选择python3时，错误就来自终端。处理PYTHONSTARTUP文件/Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py中的IPKernelApp警告
export SPARK_HOME=~/spark-1.6.0-bin-ha
浏览 10提问于2017-10-04得票数 2
2回答
我正在使用HDP-2.6.0.3，但我需要齐柏林飞艇0.8，所以我已经安装了一个独立的服务。表可以看到0.7齐柏林飞艇，这是HDP的一部分。maven clean package -DskipTests -Pspark-2.1 -Phadoop-2.7-Dhadoop.version=2.7.3 -Pyarn-Ppyspark -Psparkr -Pr -Pscala-2.
浏览 3提问于2017-10-18得票数 12
我试图在HDP 2.2中使用Ipython和Spark，但似乎ipython只支持python2.7。我已经安装了Spark并进行了很好的测试，但是在使用yum命令安装ipython之后，python的版本是个问题。Ipython单独运行，但是当我尝试将它与pyspark一起使用时：IPython r
浏览 4提问于2015-02-06得票数 1
回答已采纳
Pyspark和python2.7对我来说很好。我安装了python 3.5.1 (从源代码安装)，当我在终端中运行pyspark时，我得到这个错误[GCCTraceback (most recent call last):
File "/home/himaprasoon/apps/spark-1.6.0
浏览 4提问于2016-04-25得票数 1
我已经编写了一个模块，其中包含了在PySpark DataFrames上工作的函数。它们对DataFrame中的列进行转换，然后返回一个新的DataFrame。: Traceback (most recent call last):
File "/usr/hdp/2.3.4.0-3485/spark/python/lib/pyspark.zip/pyspark<
浏览 6提问于2016-03-10得票数 7
回答已采纳
2回答
在尝试设置和运行pyspark时，我得到以下错误：Could not find valid SPARK_HOME while searching但是如果我进入目录/usr/lib/spark/bin - pyspark工作export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME&#
浏览 0提问于2019-04-08得票数 1
回答已采纳
1回答
在我的hadoop集群中，他们在python默认路径以外的其他路径中安装了anaconda包。当我试图访问火星雨中的numpy时，我的错误程度低于
我在用oozie调用火种。>PYSPARK_PYTHON=/var/opt/teradata/anaconda2/bin/python2.7<
浏览 0提问于2019-02-25得票数 2
8回答
Python工作人员未能连接回
、、、、
我是一个拥有火花的纽比人，并试图完成一个星火教程：from pyspark import SparkContext, SparkConf
if __name__ == "__main\python\lib\pyspark.zip\
浏览 6提问于2018-11-11得票数 20
回答已采纳
对于EMR，AWS将tensorflow 1.9作为版本5.17的软件堆栈的一部分。我有自己的引导脚本来安装Python3.6和tensorflow 1.9，我去掉了tensorflow安装--但它不起作用--我进入主节点，运行python3，进入我的新Python3.6，但我的安装中没有我肯定安装了一个新<e
浏览 3提问于2018-09-12得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
