腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在Google Colab上工作时如何打开
Spark
UI?
、
、
、
如何通过
Spark
WEB UI监控作业进度?在本地运行
Spark
时,我可以使用http://localhost:4040通过端口4040访问
Spark
UI。
浏览 38
提问于2019-04-27
得票数 12
1
回答
使用PowerBI
Spark
本地计算机安装连接Apache
、
有人能指导我如何将PBI Desktop连接到安装在本地windows计算机上的APACHE
SPARK
吗?我应该传递什么服务器详细信息?编辑-根据这个建议,我尝试
按照
下面的链接建立thrift连接- medium.com/@waqasrafiq327/…。我的是windows安装。给定的路径似乎是针对
linux
的?我在/
spark
/conf文件夹下看不到hive-site.xml文件。我也没有在我的
spark
安装中看到/apachehive/c
浏览 37
提问于2019-09-01
得票数 0
4
回答
无法在EMR 4.0.0上安装Ganglia
、
、
、
我
按照
本指南在最新的AMI / EMR集群上安装
Spark
: aws emr create-cluster--name "
Spark
cluster" --release-label emr-4.0.0 --applications Name=
Spark
Name=Ganglia --ec2-attributes操作时发生客户端错误(RunJobFlow):指定的应用程序: Ganglia无效
浏览 4
提问于2015-07-29
得票数 3
1
回答
如何将Azure Web应用程序与数据库连接
、
、
、
上传到web应用程序服务的烧瓶web应用程序是否有可能连接到databricks?这个应用程序应该有一些下拉菜单,并向databricks发送一个命令。数据库应该搜索数据湖中的数据?
浏览 0
提问于2019-08-02
得票数 0
1
回答
Cloudera Hadoop : HDFS中的文件读写
、
、
、
我的问题是:用这个代码片段读取文件有什么区别- sc.textFile("hdfs://quickstart.cloudera:8020/user/
spark
/InputFile/inputText.txt
浏览 4
提问于2017-01-09
得票数 0
回答已采纳
1
回答
Mobius SparkClr入门(在
Linux
上)
、
我希望在现有的(独立的)
spark
集群(在Ubuntu
Linux
上)上试用C#驱动程序,我可以通过python或scala与之进行愉快的交互。我不清楚如何运行一个简单的c#示例,因为我已经将最新的Mobius发行版下载到了
linux
box。我不清楚的是clr
spark
提交所需的两个额外参数(除了通常需要的参数之外)。当我尝试
按照
文档中的提交参数操作时,我遇到了各种各样的错误(或者我误解了说明) 首先,对于--exe,是简单地指向.exe文件还是需要传递它;--exe mono params其次,r
浏览 4
提问于2017-01-27
得票数 1
1
回答
Python findSpark和PySpark不工作。显示IndexError:列表索引超出范围
、
、
、
我
按照
几种方法安装了findspark和PySpark。我使用的是Python 3.6,java jdk 11.0。我在.bashrc文件中添加了以下两行代码:export
SPARK
_HOME=/home/jbustost/
spark
import findspark findspark.find() # out[2]:'/home/jbustos
浏览 0
提问于2020-01-09
得票数 0
1
回答
莫比乌斯:如何设置c#应用的CSharpBackendPortNumber来与
Linux
上的星火集群对话?
、
我有以下非常基本的代码,可以从连接到在
linux
虚拟机器上运行的
spark
集群的windows机器上运行:
按照
“入门页”中的说明操作(在windows网关机上安装<em
浏览 7
提问于2016-05-24
得票数 0
1
回答
从dockerfile生成Azure机器学习环境(tensorflow)失败
、
、
、
、
/horovod/
spark
copyinghorovod/
spark
/__init__.py -> build/lib.
linux
-x86_64-3.7/horovod/
spark
浏览 32
提问于2021-10-12
得票数 1
2
回答
如何在Hadoop上运行pySpark
、
、
、
我是Hadoop世界的新手。我将在我的PC上安装一个独立版本的Hadoop,以便将文件保存在HDFS (当然是1个节点)上,然后运行pySpark从HDFS读取文件并对其进行处理。我不知道怎样才能把这些碎片放在一起。谁能给我一个清晰的顺序,我需要安装的组件?
浏览 0
提问于2017-01-11
得票数 0
2
回答
Spark
执行错误:
spark
-提交
我正在尝试使用下面的命令从
spark
-shell执行一个程序
spark
-submit --class com.aadharpoc.
spark
.UIDStats \ --packages com.databricks:
spark
-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home
spark
-submit --c
浏览 43
提问于2017-07-14
得票数 1
回答已采纳
1
回答
如何修改pom.xml使Maven3.0.4不认为我在运行SDK1.3
、
、
、
、
我正在运行的版本:Apache Maven 3.0.4Default locale: en_GB, platform encoding: UTF-8 OS name: "
linux
--
Spark
dependency
浏览 3
提问于2013-03-25
得票数 3
回答已采纳
3
回答
尝试运行
Spark
时出错
、
、
我是
spark
的新手。我已经下载了为hadoop版本2.6预建的
spark
版本1.3.1。我解压并导航到该文件夹,然后键入以下命令:./bin/
spark
-shell,对于该命令,我得到一个错误,指出没有找到
spark
-shell命令。我使用git bash在windows上做了同样的事情,我得到了一个错误消息:在尝试运行
spark
之前,我还需要做什么吗?
浏览 1
提问于2015-05-09
得票数 4
回答已采纳
1
回答
spark
.driver.extraClassPath多个Jars
、
、
在
spark
-defaults.conf文件中,我可以让其中一个运行,但不能同时运行。这两个功能是独立工作的:
spark
.driver.extraClassPath /Users/myusername/
spark
-1
浏览 2
提问于2016-04-01
得票数 10
回答已采纳
1
回答
从windows与
linux
的
Spark
提交
、
我已经在
linux
和windows机器上测试了示例SparkPi,发现
linux
spark
-submit运行正常,并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从
linux
运行
spark
-submit时,类路径是这样的: -cp '
浏览 0
提问于2018-04-09
得票数 0
2
回答
升级
spark
版本| Cloudera
、
、
cloudera附带的默认
Spark
服务包是1.6.0。由于分布式缓存问题,我需要将其升级到1.6.3,该问题已在以下git提交中解决:谢谢。
浏览 1
提问于2016-12-06
得票数 1
3
回答
如何使用start-all.sh启动使用不同
SPARK
_HOME (而不是主)的独立工作人员?
、
我在2台机器上安装了
spark
2.1.1,但是在不同的相对位置上,(在一台机器上),我已经安装在NTFS驱动器的某个地方,而在另一台机器上,我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时,我会得到以下错误:我已经在各自的
SPARK
_HOME文
浏览 0
提问于2017-05-20
得票数 1
回答已采纳
1
回答
如何在
Spark
程序中将Hive用户设置为与
Spark
用户不同的用户?
、
、
、
、
我对
Linux
、Hive和
Spark
之间的用户帐户有一个非常有趣、棘手的问题……@
SPARK
_HOME/bin/
spark
-submit -?看起来在
spark
-submit命令中应该有一些东西(有关
Spark
-submit的命令行参数和参数,请参见 ),或者在我的
Spark
scala代码中有一些东西,比如
浏览 8
提问于2015-06-09
得票数 1
3
回答
火花:如何将员工专用的
SPARK
_HOME设置为独立模式
、
但是,当我尝试用start-all.sh启动集群时,遇到了一个问题:即,
Spark
安装在不同工作人员的不同目录中。但是,尽管每个工作人员的路径不同,但主服务器使用主服务器对$
SPARK
_HOME的定义对每个工作人员调用$
SPARK
_HOME。编辑#1 Hmm,找到了,强烈建议这是当前的实现--假设所有员工的$
SPARK
_HOME都是相同的。
浏览 0
提问于2014-06-24
得票数 2
4
回答
在eclipse上本地运行
spark
代码,并将
spark
安装在远程服务器上
、
、
、
现在我的
spark
+hadoop已经安装在
linux
服务器上了。如何将我的
spark
代码从eclipse启动到
spark
集群(在
linux
上)? 任何建议。
浏览 4
提问于2015-11-08
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券