腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark
.driver.extraClassPath多个Jars
jdbc
、
apache-spark
、
pyspark
这两个功能是独立工作的:
spark
.driver.extraClassPath /Users/myusername/
spark
-1.6.1-bin-hadoop2.4/lib/sqljdbc4.<
浏览 2
提问于2016-04-01
得票数 10
回答已采纳
1
回答
从windows与
linux
的
Spark
提交
apache-spark
、
kubernetes
我已经在
linux
和windows机器上测试了示例SparkPi,发现
linux
spark
-submit运行正常,并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从
linux
运行
spark
-submit时,类路径是这样的: -cp '
浏览 0
提问于2018-04-09
得票数 0
2
回答
java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
scala
、
exception
、
configuration
、
apache-spark
、
hbase
/src/main/scala/com/orange/
spark
/examples/HBaseTest2.scala // e.g: set it through
spark
.driver.extraClassPath property // in
spark
-defaults.conf
浏览 3
提问于2015-08-18
得票数 2
1
回答
PySpark :将Kafka主题写入控制台失败
apache-spark
、
pyspark
、
spark-structured-streaming
、
spark-kafka-integration
")\ .config("
spark
.executor.extraClassPath", &qu
浏览 32
提问于2020-06-14
得票数 2
1
回答
Apache火花-shell错误导入罐
jar
、
apache-spark
、
apache-spark-1.5.2
正如所解释的,我在Windows上安装了一个本地
spark
1.5.2 (Hadoop2.4)。 我在"E:/installprogram/
spark
-1.5.2-bin-hadoop2.4/lib/jmatrw-v0.1-beta.
jar
“中复制了这个库编辑星星之火-env.sh并添加
SPARK
浏览 5
提问于2015-12-29
得票数 1
回答已采纳
1
回答
Eclipse露娜scala IDE中对SQLContext.class的错误符号引用
eclipse
、
scala
、
apache-spark
、
eclipse-luna
我已经在
Linux
机器上安装了eclipse for scala IDE。在构建时,我得到以下错误我从stackoverflow中的其他类似问题中了解到,我缺少一个依赖项。我在构建路径中有以下jars
spark
-sql_2.10-1.5.2.
jar
spark
-graphx_2.10-1.5.
浏览 5
提问于2015-12-11
得票数 0
1
回答
Breeze pinv (摩尔-彭罗斯)伪逆函数使用
Spark
给出OutOfMemory误差
scala
、
apache-spark
、
matrix
、
out-of-memory
我正在
Spark
中开发一种极端学习机类型的神经网络,它需要使用Moore-Penrose伪逆函数。这在任何
Spark
库中都不可用,所以我使用Breeze,它需要将
Spark
数据结构转换为Breeze矩阵。当我走到beta = pinv(H) * T的时候,所有的东西都失败了,出现了一个面向对象的异常(我认为在
Spark
中是不可能的)。你知道为什么吗? pinv是微风中的摩尔-彭罗斯伪逆。我读到您可以使用
spark
-shell命令来增加驱动程序内存,但我不知道如何做到这一点,也不知道它如何与我的集成开发环境
浏览 0
提问于2017-09-03
得票数 1
1
回答
Spark
-Shell不能使用Netlib-Java
maven
、
apache-spark
、
netlib-java
Warning: Local
jar
/home/user/.ivy2/jars/com.github.fommil.netlib_netlib-native_ref-
linux
-i686-1.1.
jar
-1.1.
jar
to
Spark
environment java.io.FileNotFoundException:
Jar
/home/user/.ivy2/jars/com.git
浏览 5
提问于2018-06-13
得票数 2
2
回答
为什么
Spark
找不到这个
Jar
中的类?
java
、
maven
、
jar
、
apache-spark
我是
spark
的新手。我正在尝试编译和运行一个
spark
应用程序,该应用程序需要我本地计算机上的(外部)
jar
文件中的类。如果我打开
jar
(在~/Desktop上),我可以看到本地
jar
中缺少的类,但当我运行
spark
时,我得到 NoClassDefFoundError: edu/stanford/nlp/ie/AbstractSequenceClassifier我将
jar
添加到
spark
上下文中,
浏览 1
提问于2015-02-11
得票数 2
1
回答
使用Maven提交ClassNotFound异常
maven
、
apache-spark
、
spark-streaming
问题是:当我运行submit时,显示的是:Warning: Skip remote
jar
C:/Users/Manuel$.c
浏览 3
提问于2016-10-05
得票数 0
1
回答
在
spark
-shell中可访问正确的配置单元转移存储,但不能在
spark
- file.
jar
中访问
java
、
scala
、
apache-spark
、
hive
当我跑的时候在
linux
shell中,然后尝试:我得到了正确的数据库列表(因为我连接到了正确的metastore现在,当我使用以下代码提交我的
jar
时:
spark
-submit file.
jar
SparkConf conf = new SparkConf().setAppName.enableHiveSupport
浏览 1
提问于2019-04-02
得票数 0
2
回答
无法找到火花罐: Java ClassNotFoundException
java
、
jar
、
apache-spark
/
spark
-1.4.1/launcher/src/main/java/org/apache/
spark
/launcher位置的.
jar
文件,后者拥有所有的java文件,如Main.java。此外,在$CLASSPATH和$
SPARK
_CLASSPATH中什么也没有。我以前在
Linux
和Mac中安装了
Spark
,没有遇到这个问题。有人能告诉我这里有什么问题吗?可能我需要指定类路径或一些环境变量来指向
浏览 1
提问于2015-08-27
得票数 3
回答已采纳
0
回答
如何在YARN和HDP上运行
Spark
2.2?
apache-spark
、
hadoop-yarn
、
hortonworks-data-platform
我在安巴里阻止
Spark
2,然后我运行:/home/ed/.ivy2/jars/stanford-corenlp-3.6.0-models.
jar
,/home/ed/.ivy2/jars/jersey-bundle-1.19.1.
jar
--packages databricks:
spark
-c
浏览 4
提问于2017-12-09
得票数 0
回答已采纳
4
回答
在eclipse上本地运行
spark
代码,并将
spark
安装在远程服务器上
linux
、
scala
、
debugging
、
apache-spark
现在我的
spark
+hadoop已经安装在
linux
服务器上了。如何将我的
spark
代码从eclipse启动到
spark
集群(在
linux
上)? 任何建议。
浏览 4
提问于2015-11-08
得票数 2
2
回答
无法通过系统调用在scala中调用"
spark
-submit“,这显然是因为"--jars”参数(具有*通配符)没有扩展
linux
、
scala
、
shell
、
apache-spark
、
spark-submit
home/unix/analytics/TigerETL3/application.conf --jars "/home/unix/analytics/TigerETL3/
spark
-jars/*.
jar
" /home/unix/analytics/TigerETL3/
spark
-agents.
jar
' 但是,当我只是将它转换为Scala中的系统
浏览 0
提问于2018-10-31
得票数 1
2
回答
火花2.3 - Minikube - Kubernetes - Windows SparkPi未找到
windows
、
apache-spark
、
kubernetes
_2.11-2.3.0.
jar
;/opt/
spark
/examples/jars/
spark
-examples_2.11-2.3.0.
jar
' ']' +
SPARK
_CLASSPATH=':/opt//examples/jars/
spark
-examples_2.11-2.3.0.
jar
,/opt/
sp
浏览 0
提问于2018-03-17
得票数 0
1
回答
莫比乌斯:如何设置c#应用的CSharpBackendPortNumber来与
Linux
上的星火集群对话?
apache-spark
、
mobius
我有以下非常基本的代码,可以从连接到在
linux
虚拟机器上运行的
spark
集群的windows机器上运行:收到此错误: SPARKCLR_
JAR
=
spark
-clr_2.10-1.6.1
浏览 7
提问于2016-05-24
得票数 0
1
回答
针对csv错误发现的Apache多个源
scala
、
csv
、
apache-spark
、
apache-spark-sql
我正在尝试使用submit命令(我正在使用scala)运行
spark
程序,我指定了主入口、类名、带有所有依赖项的
jar
文件、输入文件,然后是输出文件,但是我有和错误: 线程“主”(org.apache.
spark
.sql.execution.datasources.v2.csv.CSVDataSourceV2,org.apache.
spark
.sql.execution.datasources.csv.CSVFileFormat),中的异常:为csv org.apache.
spark
.sql.Analys
浏览 5
提问于2021-01-03
得票数 1
1
回答
SparkContext初始化错误: Scala
scala
、
apache-spark
我使用以下运行命令运行
spark
:但是我得到了以下初始化错误: Using
Spark
's default log4j profile: org/apache/
spark
16
浏览 1
提问于2016-10-01
得票数 0
2
回答
如何在
linux
中实现星火提交
scala
、
sbt
我正试图在
Linux
上构建一个使用
Spark
的软件包,以下说明如下: bash: sbt: command notfound 我能够在windows机器上构建
jar
,但无法在
Linux
上创建项目包。
浏览 5
提问于2017-01-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spring Boot中java-jar的启动jar包的原理
Bandizip识别JAR文件教程
用python实现调用jar包
搭建Windows下的Spark开发环境
Maven上传jar包到私服的命令
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券