腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
尝试运行
Spark
时出错
、
、
我是
spark
的新手。我已经下载了为hadoop版本2.6预建的
spark
版本1.3.1。我解压并导航到该文件夹,然后键入以下
命令
:./bin/
spark
-shell,对于该
命令
,我得到一个错误,指出没有找到
spark
-shell
命令
。我使用git bash在windows上做了同样的事情,我得到了一个错误消息:在尝试运行
spark
之前,我
浏览 1
提问于2015-05-09
得票数 4
回答已采纳
1
回答
如何在
Spark
程序中将Hive用户设置为与
Spark
用户不同的用户?
、
、
、
、
我对
Linux
、Hive和
Spark
之间的用户帐户有一个非常有趣、棘手的问题……/usr/lib/hive/bin/beeline -u jdbc
Spark
作业的配置单元ID: @
SP
浏览 8
提问于2015-06-09
得票数 1
2
回答
Spark
执行错误:
spark
-提交
我正在尝试使用下面的
命令
从
spark
-shell执行一个程序
spark
-submit --class com.aadharpoc.
spark
.UIDStats \ --packages com.databricks:
spark
-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home
spark
-s
浏览 43
提问于2017-07-14
得票数 1
回答已采纳
1
回答
如何通过
Linux
使用Databricks Cluster运行
spark
sql查询?
、
、
、
我想从Databricks Cluster上的
Linux
Machine执行
spark
sql
命令
。有什么方法可以做到这一点吗?我在一个.sql文件中设置了一组
spark
sql
命令
,并希望使用
Linux
Machine中的Databricks集群来执行该文件。我正在寻找类似于SQLPLUS的东西,在那里我们与DB建立连接并执行sql,以类似的方式,我们是否有任何实用程序/解决方案来在Databricks集群上执行
spark
sql。
浏览 30
提问于2021-08-10
得票数 1
2
回答
如何在Windows8环境下进行
spark
安装过程
、
我需要在我的笔记本电脑上安装
spark
1.0.0,它有64位操作系统Windows8,java(java版本"1.7.0_25")。我下载了"
spark
-1.0.0-bin-hadoop2“。但是我不知道如何安装
spark
1.0.0。我也在谷歌上搜索了一下,但是我找不到。那么,您能告诉我在Windows8操作系统上的安装步骤,以及在这个过程中还需要什么其他东西吗?
浏览 2
提问于2014-07-08
得票数 1
2
回答
不通过本地主机地址连接的火花母版和工作人员
、
、
在
Linux
上安装
Spark
(SuSE SLES 12)之后,我会看到以下连接错误(“连接失败”),在
Spark
从进程旁边也会影响"pyspark“示例,拒绝连接。部分问题可能是默认的
Linux
防火墙设置。127.0.0.1 -d zbra2016 -j ACCEPTexport
SPARK
_LOCAL_IP=zbra2016 启动火花工人-
命令
: ./sbin/stop-sla
浏览 4
提问于2016-04-19
得票数 4
回答已采纳
1
回答
submit不被识别为内部或外部
命令
。
我正在为python使用经过考虑的冠层,并设置我的路径变量%
SPARK
_HOME%\ , %JAVA_HOME%\,C:\WINDOWS/system32。当在我的ratings-counter.py
命令
程序中运行
spark
submit时,它显示了
spark
submit的错误不被识别为内部或外部
命令
、可操作的程序或批处理文件。
浏览 3
提问于2016-11-06
得票数 1
1
回答
如何通过Powershell在HDInsight上提交
Spark
作业?
、
、
、
有没有办法通过Powershell在HDInsight上提交
Spark
作业?
浏览 3
提问于2017-06-22
得票数 0
1
回答
从windows与
linux
的
Spark
提交
、
我已经在
linux
和windows机器上测试了示例SparkPi,发现
linux
spark
-submit运行正常,并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从
linux
运行
spark
-submit时,类路径是这样的: -cp '
浏览 0
提问于2018-04-09
得票数 0
1
回答
SparkContext初始化错误: Scala
、
我使用以下运行
命令
运行
spark
:但是我得到了以下初始化错误: Using
Spark
's default log4j profile: org/apache/
spark
16
浏览 1
提问于2016-10-01
得票数 0
3
回答
将
命令
行参数传递给
Spark
-shell
我有一个用scala写的
spark
作业。我使用来运行作业。我需要向作业传递一个
命令
行参数。现在,我通过一个
linux
任务调用该脚本,我这样做了并使用环境变量选项通过以下方式访问值:有没有更好的方法来处理
Spark
-shell中的
命令
行参数?
浏览 1
提问于2015-04-29
得票数 18
回答已采纳
1
回答
我们如何将我现有的kafka -
spark
-cassandra项目部署到google-cloud--cassandra中的kafka - dataproc平台?
、
、
我现有的项目是kafka-
spark
-cassandra。现在我有了gcp帐户,必须将
spark
作业迁移到dataproc。在我现有的
spark
作业中,像masterip、memory、cores等参数都是通过
命令
行传递的,而
命令
行是由
linux
shell脚本触发的,并创建新的sparkConf。conf =新的SparkConf(true) .setMaster(master) .setAppName("xxxx") .setJars(List(path+&quo
浏览 1
提问于2016-06-01
得票数 0
1
回答
高寒
linux
坞上的apache火花启动错误
、
、
*我遵循,当我执行
命令
时,apache启动程序会失败,无法识别"--“。我是
spark
.Requesting的新手,来自我们信任的社区成员。
spark
/logs/
spark
--org.apache.
spark
.deploy.master.Master-1-e6b8f9219a40.out failed to launch: nice -n0 /opt/
spark
/bin/
spark
-class org
浏览 2
提问于2017-06-15
得票数 5
回答已采纳
1
回答
火花提交
命令
中的
命令
行参数中是否有字符的限制?
、
、
、
我也想知道是否有什么特殊的字符,我们不能用在参数的火花提交
命令
?那么,我们是否必须在集群上运行我们的其他程序(安装了
spark
的
linux
机器)才能运行我的
spark
程序?
浏览 2
提问于2015-07-23
得票数 1
2
回答
无法启动主从程序,日志中名为"bogon“的奇怪东西
、
打开文件后,我输入sbin和start-master,但是我面临这个奇怪的问题,下面是日志:
Spark
Command: /Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/bin/java -cp :/opt/
spark
-0.9.0-incubating-bin-hadoop2/conf:/opt/
spark
-0.9.0-incuba
浏览 2
提问于2014-06-03
得票数 0
回答已采纳
2
回答
java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
、
、
、
、
/src/main/scala/com/orange/
spark
/examples/HBaseTest2.scala // e.g: set it through
spark
.driver.extraClassPath property // in
spark
-defaults.conf-1.4
浏览 3
提问于2015-08-18
得票数 2
1
回答
Cloudera Quick Start VM缺少
Spark
2.0或更高版本
、
、
为了测试和学习
Spark
函数,开发人员需要
Spark
的最新版本。因为2.0版之前的API和方法已经过时,在新版本中不再有效。这带来了更大的挑战,开发人员被迫手动安装
Spark
,这浪费了大量的开发时间。 如何在Quickstart VM上使用更高版本的
Spark
?
浏览 3
提问于2018-11-05
得票数 0
1
回答
如何设置内存和核心的初始设置?
我对
spark
和pyspark非常陌生。我已经在一个带有12内核和24g的
linux
机器上安装了我需要的所有东西。
spark
.conf.set('
spark
.executor.cores', '12')
s
浏览 6
提问于2020-02-04
得票数 0
1
回答
星星之主和工作人员似乎运行在不同的JVM版本上。
在我的
Spark
应用程序中,我使用了1.8中引入的一些API。
浏览 5
提问于2017-06-09
得票数 0
2
回答
在Google Colab上工作时如何打开
Spark
UI?
、
、
、
如何通过
Spark
WEB UI监控作业进度?在本地运行
Spark
时,我可以使用http://localhost:4040通过端口4040访问
Spark
UI。
浏览 38
提问于2019-04-27
得票数 12
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux命令之grep命令
Linux命令-grep命令基本用法
Linux usermod命令
Linux 命令汇总
常用Linux命令
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券