1回答
version >= 2.10.0 and < 2.11.0
at com.fasterxml.jackson.module.scala.JacksonModule.setupModule(JacksonModule.scala:61) 我研究了JacksonModule.setupModule，当它到达context.getMapperVersion时，通过的版本是2.9.10。在我看来，DefaultScalaModule正在拉一些较旧的版本。:3.0.0
浏览 189提问于2020-10-28得票数 5
这是我得到的错误： at org.apache.spark.streaming.dstream.InputDStream(KafkaUtils.scala:150)
at org.apache.spark.streaming.kafka010.KafkaUtils$.createDirectStream(KafkaUtils.scala<init>(RDDOperationScope.scala
浏览 1提问于2017-02-04得票数 0
val input_blob_path = "Enter input azure blob path here" val storageAccountName = "Enter_Your_Storage_Account_Name" val containerName = &
浏览 4提问于2022-02-23得票数 0
这是我的密码import org.apache.spark.SparkConf) println(i+"\t"+listBuffer(i).mkString)}}
这是我的build.sbt" % "sp
浏览 3提问于2017-09-12得票数 0
回答已采纳
2回答
我的项目是maven+intellij。在windows系统下进行开发。首先，我使用最新的scala libray版本2.12.2。为了获得类SQLContext等，我必须导入spark jar：
但是后来我被告知，如果我想要使用这个spark jar，我必须降低我的scala版本，所以我删除了libiray，并在mvn_clean_install.I[WARNING] org.apache.spark:<e
浏览 7提问于2017-04-10得票数 5
回答已采纳
1回答
:166) at org.apache.spark.SparkContext.clean(SparkContext.scala:1623) at org.apache.ignite.sp
浏览 3提问于2015-07-21得票数 0
回答已采纳
1回答
我试图使用spark csv lib在hdfs文件上创建一个dataframe对象，如所示。但是当我尝试获取DataFrame对象的计数时，它显示为0employee.csv：1000,Tom我使用以下命令加载了上述文件：
val empDf = sqlContext.read.format("com.databricks.spark.csv").option("header","true").option(
浏览 1提问于2016-08-09得票数 0
回答已采纳
对于一个项目，我正在使用spark structured和kafka。我有这样的会议： <slf4j.version>1.7.7</slf4j.version> <scala.version>2.12<&#x
浏览 318提问于2021-05-31得票数 1
2回答
我是火花的新手。在它的文档中，它说它可以在Scala或Python中使用。
一些博客说，火花依赖于scala (例如，)。因此，我想知道：scala是Spark的必修课吗？(由于依赖关系，我必须首先安装scala吗？)
浏览 2提问于2014-12-21得票数 6
我正在运行的程序星火流使用卡夫卡和获得错误。所有的导入都完成了，看起来没有任何问题的解决。动物园管理员服务已经启动，卡夫卡服务器已经启动，并创建了一个名为topicA的主题。Producer也准备好了流数据，但是我在IntelliJ中运行用于侦听队列的代码有问题。(SparkConf.scala:75)at org.apach
浏览 0提问于2018-12-30得票数 1
回答已采纳
5回答
我已经在Ubuntu14.04LTS上安装了Spark1.5。[INFO] ------------------------------------------------------------------------export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export SCALA_HOME=/usr/local/src/scala</em
浏览 4提问于2015-09-18得票数 7
回答已采纳
1回答
在2.2.0版本之前，Spark无法与Hive 2.X通信，所以我只能使用Hive 1+ Spark 1/2。现在可以使用星火2+蜂巢2，但我仍然面临一些问题。$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala(SparkSubmit.scala)
我通常通过使用选项"-Phive -Ph
浏览 0提问于2017-07-26得票数 1
2回答
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)没有命名模块的问题不仅发生在“boto3”上，而且也发生在其他模块上。我尝试了以下的东西
确保 export PYTHONPATH=$<
浏览 7提问于2017-10-13得票数 4
回答已采纳
1回答
我需要加载在DataFrame中创建的SparkR，以便在Hive中加载。：java.lang.RuntimeException:用SQLContext创建的表必须是临时的。使用HiveContext代替。org.apache.spark.sql.execution.SparkStrategies$DDLStrategy$.apply(SparkStrategies.scala:392)，org.apache.spark.sql.catalyst.planning.Qu
浏览 4提问于2016-08-24得票数 1
回答已采纳
2回答
我试图从Cassandra读取数据，并将特定索引写入Redis。假设Redis DB 5。我可以将数据保存到没有表名的Redis中吗？实际上，我只想将所有数据保存到Redis索引5中，没有表名，可以吗？我已经看过了火花红宝石连接器的文档，我没有看到任何与此相关的例子。Doc链接：
浏览 6提问于2020-07-08得票数 4
1回答
我需要支持相同库的两个不同版本(以支持遗留版本)，即Apache的es4hadoop。版本6.2.2()
implementation(group: 'org.elasticsearch', name: '
浏览 3提问于2019-05-27得票数 2
回答已采纳
1回答
当使用区分大小写的字段名时，火花连接器写入失败时出现java.lang.IllegalArgumentException: udtId is not a field defined in this我需要卡桑德拉表中的字段来维护案件。所以我用引号来创建它们。my_keyspace.my_table ( "someCol" text,);
我<
浏览 7提问于2020-09-14得票数 2
回答已采纳
我试着写一个自定义接收器，但是得到了以下错误-Exception in thread "dispatcher-event-loop-1" java.lang.NoClassDefFoundError: scala-- Import Spark --> <groupId>org.apache.spark</groupId>>
<scope>provide
浏览 2提问于2017-10-03得票数 0
回答已采纳
我是scala的新手，我正在尝试用Scala和Java创建一个混合项目。但是，当我运行测试代码时，我会遇到一些问题。当我运行测试时，我得到一个错误和我的pom.xml如下所示： <scala.version>2.12.2</scala.version> <dependency>
<groupId>or
浏览 0提问于2017-06-06得票数 9
这是关于在Zeppelin笔记本上运行Spark/Scala的。为了更好地模块化和重组代码，我需要将现有的Scala类、包或函数导入到笔记本中，最好跳过创建jar文件(与PySpark中非常相似)。类似于：其中'myclass‘是在.scala文件中实现的。可能这个源代码需要驻留在Zeppelin的特定位置。
浏览 4提问于2018-07-14得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
