如何通过Spark WEB UI监控作业进度？在本地运行Spark时，我可以使用http://localhost:4040通过端口4040访问Spark UI。
浏览 38提问于2019-04-27得票数 12
有人能指导我如何将PBI Desktop连接到安装在本地windows计算机上的APACHE SPARK吗？我应该传递什么服务器详细信息？编辑-根据这个建议，我尝试按照下面的链接建立thrift连接- medium.com/@waqasrafiq327/…。我的是windows安装。给定的路径似乎是针对linux的？我在/spark/conf文件夹下看不到hive-site.xml文件。我也没有在我的spark安装中看到/apachehive/c
浏览 37提问于2019-09-01得票数 0
4回答
我按照本指南在最新的AMI / EMR集群上安装Spark：
aws emr create-cluster--name "Spark cluster" --release-label emr-4.0.0 --applications Name=Spark Name=Ganglia --ec2-attributes操作时发生客户端错误(RunJobFlow)：指定的应用程序: Ganglia无效
浏览 4提问于2015-07-29得票数 3
1回答
上传到web应用程序服务的烧瓶web应用程序是否有可能连接到databricks？这个应用程序应该有一些下拉菜单，并向databricks发送一个命令。数据库应该搜索数据湖中的数据？
浏览 0提问于2019-08-02得票数 0
我的问题是:用这个代码片段读取文件有什么区别-
sc.textFile("hdfs://quickstart.cloudera:8020/user/spark/InputFile/inputText.txt
浏览 4提问于2017-01-09得票数 0
回答已采纳
我希望在现有的(独立的) spark集群(在Ubuntu Linux上)上试用C#驱动程序，我可以通过python或scala与之进行愉快的交互。我不清楚如何运行一个简单的c#示例，因为我已经将最新的Mobius发行版下载到了linux box。我不清楚的是clr spark提交所需的两个额外参数(除了通常需要的参数之外)。当我尝试按照文档中的提交参数操作时，我遇到了各种各样的错误(或者我误解了说明)
首先，对于--exe，是简单地指向.exe文件还是需要传递它；--exe mono params其次，r
浏览 4提问于2017-01-27得票数 1
我按照几种方法安装了findspark和PySpark。我使用的是Python 3.6，java jdk 11.0。我在.bashrc文件中添加了以下两行代码：export SPARK_HOME=/home/jbustost/sparkimport findspark
findspark.find() # out[2]:'/home/jbustos&#x
浏览 0提问于2020-01-09得票数 0
我有以下非常基本的代码，可以从连接到在linux虚拟机器上运行的spark集群的windows机器上运行：按照“入门页”中的说明操作(在windows网关机上安装<em
浏览 7提问于2016-05-24得票数 0
/horovod/spark copyinghorovod/spark/__init__.py -> build/lib.linux-x86_64-3.7/horovod/spark
浏览 32提问于2021-10-12得票数 1
2回答
我是Hadoop世界的新手。我将在我的PC上安装一个独立版本的Hadoop，以便将文件保存在HDFS (当然是1个节点)上，然后运行pySpark从HDFS读取文件并对其进行处理。我不知道怎样才能把这些碎片放在一起。谁能给我一个清晰的顺序，我需要安装的组件？
浏览 0提问于2017-01-11得票数 0
我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /homespark-submit --c
浏览 43提问于2017-07-14得票数 1
回答已采纳
我正在运行的版本：Apache Maven 3.0.4Default locale: en_GB, platform encoding: UTF-8
OS name: "linux-- Spark dependency
浏览 3提问于2013-03-25得票数 3
回答已采纳
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
在spark-defaults.conf文件中，我可以让其中一个运行，但不能同时运行。这两个功能是独立工作的：
spark.driver.extraClassPath /Users/myusername/spark-1
浏览 2提问于2016-04-01得票数 10
回答已采纳
我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从linux运行spark-submit时，类路径是这样的：
-cp '
浏览 0提问于2018-04-09得票数 0
2回答
cloudera附带的默认Spark服务包是1.6.0。由于分布式缓存问题，我需要将其升级到1.6.3，该问题已在以下git提交中解决：谢谢。
浏览 1提问于2016-12-06得票数 1
我在2台机器上安装了spark 2.1.1，但是在不同的相对位置上，(在一台机器上)，我已经安装在NTFS驱动器的某个地方，而在另一台机器上，我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时，我会得到以下错误：我已经在各自的SPARK_HOME文
浏览 0提问于2017-05-20得票数 1
回答已采纳
我对Linux、Hive和Spark之间的用户帐户有一个非常有趣、棘手的问题……@SPARK_HOME/bin/spark-submit -?看起来在spark-submit命令中应该有一些东西(有关Spark -submit的命令行参数和参数，请参见 )，或者在我的Spark scala代码中有一些东西，比如
浏览 8提问于2015-06-09得票数 1
但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。编辑#1 Hmm，找到了，强烈建议这是当前的实现--假设所有员工的$SPARK_HOME都是相同的。
浏览 0提问于2014-06-24得票数 2
现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
