腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
scala
类
的
spark-submit
上
的
反
程式化
问题
java
、
scala
、
spark-submit
我正在尝试在一个
scala
和java结合
的
项目上工作,我有一个
scala
类
,它
的
缩写结构如下 case class Dl(name:String, length:Int) extends SerializableappendDl(fieldName:String, fieldLength:Int):DlStruct= } 上面的
类
是从java对象调用来填充DlStruct
的
,在它完成之
浏览 7
提问于2020-09-18
得票数 0
3
回答
spark提交java.lang.ClassNotFoundException
macos
、
scala
、
intellij-idea
、
apache-spark
、
sbt
我正在尝试运行我自己
的
spark应用程序,但是当我使用
spark-submit
命令时,我得到了这个错误:--class "/Users/_name_here/dev/sp/mo/src/main/
scala</e
浏览 8
提问于2015-08-13
得票数 9
回答已采纳
2
回答
ClassNotFoundException在SparkStreaming示例中
的
应用
scala
、
apache-spark
、
spark-streaming
我是新
的
星火流,并试图运行一个例子从教程,我是跟随制作和运行我们自己
的
NETWORKWORDCOUNT。我完成了第八步,用sbt做了一个罐子。现在,我正尝试使用第9步中
的
命令来部署jar,如下所示: bin/
spark-submit
--class "NetworkWordCount" --master spark://abc:7077 target/
scala
-2.11/networkcount_2.11-1.0.jar localh
浏览 3
提问于2017-07-31
得票数 0
回答已采纳
1
回答
spark submit应用程序中
的
Scala
ScriptEngine
问题
apache-spark
、
classloader
、
spark-submit
、
scriptengine
、
scala-script
整个应用程序以
spark-submit
应用程序
的
形式运行,我使用ScriptEngine引擎来编译用
Scala
语言编写
的
DSL。每个测试在SBT和IntelliJ中都能正常工作。但是在执行
spark-submit
时,我
的
fat-jar中可用
的
类型不能在脚本中导入。我初始化脚本引擎如下所示。过程中
类
加载器
的
一个
问题
。但是我不能弄清楚为什么我
的
jar中
的
类型在我
的
脚本
浏览 45
提问于2018-08-07
得票数 2
5
回答
星星之火运行在Yarn集群exitCode=13
上
:
scala
、
hadoop
、
apache-spark
、
hadoop-yarn
我是一个火花/纱线新手,当我提交一个关于纱线集群
的
火花作业时,会遇到exitCode=13。当火花作业在本地模式下运行时,一切都很好。我使用
的
命令是: /usr/hdp/current/spark-client/bin/
spark-submit
--class com.test.sparkTest --master yarn --deploy-mode
浏览 10
提问于2016-04-10
得票数 25
回答已采纳
2
回答
在电子病历
上
提交JAR时使用ClassNotFoundException
java
、
scala
、
hadoop
、
apache-spark
、
amazon-emr
我正在使用eclipse/Maven创建一个JAR并在EMR
上
运行它<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns<scope>test</scope> <groupId>org.
scala<
浏览 8
提问于2018-01-15
得票数 1
回答已采纳
3
回答
spark-提交.
scala
文件
scala
、
apache-spark
这将在spark
上
执行我
的
代码,并在完成后弹出到shell中。现在我正在尝试在集群
上
运行它,我想我需要使用
spark-submit
,我认为应该是:
spark-submit
--conf spark.neo4j.bolt.password=Stuffffit --但是它不像.
scala
文件,不知何故,它必须被编译成一个
类
吗?
scala
代码是一个简单
的
scala
文件,其中定义了几个助手
类
,可以说没有真
浏览 0
提问于2017-12-06
得票数 11
5
回答
java.lang.ClassNotFoundException,当我使用带有新
类
名
的
"
spark-submit
“而不是"SimpleApp”时,
scala
、
apache-spark
我用
scala
写了一个spark程序,但是当我使用"spark- submit“提交我
的
项目时,我遇到了java.lang.ClassNotFoundException。" %% "spark-core" % "1.3.0" println("Lines with a: %
浏览 1
提问于2015-04-08
得票数 6
1
回答
使用uber-jar
的
Spark-submit
无法在没有任何输出或错误日志
的
情况下执行作业
scala
、
apache-spark
、
lstm
、
spark-submit
、
deeplearning4j
我正在尝试使用sbt编译和sbt包命令生成uber-jar,以便在我们
的
远程服务器
上
运行我
的
应用程序,并将spark安装为独立模式。然而,在运行
spark-submit
命令时,我遇到了一个
问题
:stock_prediction_
scala
/target/lstm_train/prices-split-adj
浏览 1
提问于2018-04-25
得票数 1
1
回答
如何在
spark-submit
中排除包?
apache-spark
我有一个基于Spark
的
流媒体应用程序,我使用命令行中
的
spark-submit
命令在AWS EMR
上
运行它。我使用
spark-submit
的
--packages选项包含了一些依赖项。然而,当
spark-submit
解析依赖项时,我也想排除一个依赖项。为此,我尝试使用
spark-submit
的
--exclude-packages选项,但遇到了
问题
。我在实际应用程序中看到
的
错误与以下命令产生
的
浏览 21
提问于2019-04-11
得票数 3
2
回答
spark-submit
和pyspark有什么区别?
python
、
apache-spark
、
pyspark
然而,如果我试图通过命令行和
spark-submit
来做同样
的
事情,我会得到一个错误: Command: /usr/local/spark/bin/
spark-submit
my_script.py collapse运行pyspark和运行
spark-submit
会导致这种差异
的
区别是什么?我怎样才能在
spark-submit
中工作呢?/data/从bash shell运行此命令,但得到了相同
的
错误。
浏览 0
提问于2014-11-04
得票数 20
1
回答
Spark中
的
NoClassDefFoundError提交
apache-spark
、
noclassdeffounderror
、
spark-streaming
我使用
的
是第三方jar。我将其添加到我
的
sbt文件中。--master yarn-client --class MyClass target/
scala
-2.10/my-app.jarException in threadjar中显式传递jar
spark-submit
--master yarn-client --jars third-party-jars/spring-security-web-3.0.7.RELEASE.jar--class MyClass
浏览 1
提问于2016-02-08
得票数 0
1
回答
Spark RDD -
Scala
写和Python读
python
、
json
、
scala
、
apache-spark
、
rdd
我有一个简单
的
Spark
Scala
脚本,它读取一堆日志文件并返回一个RDD[Map[String, String]]rec.saveAsTextFile("/path/to/export.json"); at org.apache.spark
浏览 0
提问于2017-03-29
得票数 0
1
回答
java.lang.NoSuchMethodError:
scala
.Predef$.refArrayOps在
Scala
的
火花工作
scala
、
apache-spark
、
intellij-idea
、
version
、
incompatibility
为了确定,我注释掉了其余
的
代码,并且错误一直显示在该行
上
。Google搜索总是指出
Scala
版本与用于编译
的
版本和运行时使用
的
版本不兼容,但我无法找到解决方案。我尝试过来检查IntelliJ使用
的
Scala
版本,下面是模块>
Scala</em
浏览 0
提问于2020-05-08
得票数 4
1
回答
scala
程序中
的
java.lang.ClassNotFoundException
scala
、
apache-spark
、
hbase
我正在尝试从spark连接hbase,我想在
spark-submit
中运行
scala
jar文件。我不确定如何在
scala
中编写
类
,有谁可以帮助我吗import org.apache.spark.rdd.NewHadoopRDD下面是我用来运行jar
的
spark-submit
命令
spark-submit
--class com.jeevan.sparkh
浏览 2
提问于2018-07-04
得票数 2
1
回答
ZeroMQ单词计数应用程序在spark 1.2.1中编译时会出错
scala
、
streaming
、
sbt
、
apache-spark
、
zeromq
基本
上
,我把ZeroMQWordCount.
scala
应用程序试着重新编译并运行它。我安装了zeromq2.1,Spark1.2.1下面是我
的
scala
代码: import akka.actor.ActorSystem/bin/
spark-submit
--master local[*] .我知道这个应用程序应该能工作,因为当我使用$/ run示例$ script运行相同
的</e
浏览 1
提问于2015-03-06
得票数 0
回答已采纳
1
回答
不能调用主
类
scala
、
apache-spark
、
intellij-idea
、
program-entry-point
spark-submit
--class=ueba.Main --jars $JARS1,$JARS2 target/UEBA-1.0-SNAPSHOT.jar "hdfs://some_location我注意到我
的
旧项目有这个结构,其中主
类
位于'
scala
‘文件夹下。我认为'
scala
‘文件夹是在我创建旧项目时自动创建
的
。在我的当前项目中,我没有(蓝色)文件夹'
scala
‘。 <em
浏览 1
提问于2018-09-14
得票数 1
回答已采纳
4
回答
如何在jar中与主
类
联系提交?
java
、
scala
、
apache-spark
关于ClassNotFoundException有很多
问题
,但我还没有看到任何适合这一特定情况
的
问题
。我试图运行以下命令:它引发以下异常:总之,我是不是错过了一些显而易见
的
东西?我从与.jar (/home&
浏览 0
提问于2018-05-07
得票数 6
回答已采纳
1
回答
尝试Cloudera Spark教程不会在"classnotfoundexception“中工作
scala
、
maven
、
apache-spark
、
jar
、
cloudera
我尝试了类似的现有帖子中建议
的
解决方案,但没有一个对我有效:-(变得非常无望,所以我决定把这个作为一个新
的
问题
。我尝试了一个关于在Cloudera VM中使用Spark构建第一个
scala
或java应用程序
的
教程(链接如下)。这是我
的
spark-submit
命令及其输出 [cloudera@quickstart sparkwordcount]$
spark-submit
--class com.cloudera.sparkwordcount.Spark
浏览 1
提问于2017-06-21
得票数 0
1
回答
删除字符串中
反
斜杠
的
出现,后面没有另一个
反
斜杠或管道。
regex
、
scala
需要帮助来创建一个正则表达式,它可以在以下条件下使用
反
斜杠。3>if,它包含
反
斜杠,后面是连续
反
斜杠(\\),而不是我不应该删除
的
反
斜杠。= Sportss
scala
> val st
浏览 1
提问于2018-07-02
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark分析二进制文件
Spark-2
Spark MLlib 入门学习笔记-编程环境配置
Python Spark安装及配置步骤
基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券