在将我的java spark程序部署到集群期间，它遇到了一个ArrayIndexOutOfBoundsException: 11异常。据我所知，我的代码没有语法上的错误，索引错误也不能说明哪里出了问题。我的程序简单地假设能够获取12列，由空格分隔，然后它需要获取一列(命令列)并进行聚合，以查看每个命令存在多少次。gdegdg cmd#2 533 ectcommmand countcom
浏览 6提问于2017-08-29得票数 0
回答已采纳
3回答
由于Apache是为Cassandra建议的分布式处理引擎，我知道有可能与Cassandra节点一起运行Spark执行器。我的问题是，驱动程序和火花连接器是否足够聪明，能够理解分区和碎片分配，以便以超聚合的方式处理数据。简单地说，执行者是否读取存储在运行执行器的节点上的分区中的数据，这样就不会像Spark在HDFS上运行时那样通过网络传输不必要<
浏览 11提问于2020-01-25得票数 1
回答已采纳
1回答
在我们的一个管道中，我们使用spark(java)进行聚合，它是使用oozie编排的。此管道使用以下行将聚合数据写入ORC文件。modifiedFrame = hc.createDataFrame(aggregateddatainrdd, schema);
modifiedFrame.write().format("org.apache.spark.sql.hive.orc").partitionBy("partitio
浏览 0提问于2017-03-09得票数 0
回答已采纳
我是函数式编程的新手，没有命令式编程的背景。在线浏览了一些基本的scala/spark教程，在通过spark-submit提交Scala应用程序时遇到了一些困难。进一步研究一下，我发现一些基本的调试可以告诉我主应用程序是否真的在运行时接受了参数--实际上并没有。代码如下：
import org.apache.spark.$.org$apache$spark$deploy$
浏览 0提问于2016-08-01得票数 0
case Array("--squery", argQ: String) => q = argQ println(s"files from: ${dvfFiles}")G:\dev\fromGit\dvf\spark>spark-submit .-------------------------------------------------------------------------------^^^命令
我还注意<e
浏览 0提问于2019-06-18得票数 2
我是Scala的初学者，我试图在scala中运行一个模型，但是我面临一些问题：package com.salesforce.hw.titanic
import org.apache.log4j.，我会得到以下错误：
线程"main“中的异常: org/apache&
浏览 3提问于2018-08-31得票数 1
回答已采纳
3回答
我在我的build.sbt中添加了增量依赖项 "org.apache.spark" %% "spark-core" % sparkVersion, "org.apache.<em
浏览 3提问于2020-07-11得票数 0
回答已采纳
我试图打印通过火花流从卡夫卡消费的信息。/spark/streaming/kafka/KafkaUtils$ "org.apache.kafka" % "kafka_2.10" % "0.8.2.1" % "provided",
"org.apache.spark" %
浏览 1提问于2016-09-05得票数 0
回答已采纳
1回答
我在spark 2.1中使用kryo作为序列化程序，我已经根据需要设置了注册，但是我遇到了一个问题，我不能注册这个类：我尝试过使用classOf[Array[Class.forName("org.apache.spark.sql.exec
浏览 3提问于2017-11-12得票数 0
回答已采纳
我需要聚合我的数据，以便它生成这个输出：{ { "lastName"firstName": "Jimmy", "age": "75"
浏览 1提问于2019-10-17得票数 1
根据的说法，collect_set和collect_list函数应该在Spark SQL中可用。但是，我不能让它工作。我正在使用运行Spark 1.6.0。我正尝试在Scala中做到这一点： .agg(collect_set("column2"))
.sho
浏览 7提问于2016-02-21得票数 16
回答已采纳
我在PySpark中使用Spark2.0。我正在通过2.0中引入的SparkSession方法重新定义GetOrCreate参数：
此方法首先检查是否存在有效的全局默认SparkSession，如果是，则返回该缺省值。如果不存在有效的全局默认SparkSession，则该方法将创建一个新的SparkSession，并将新创建的SparkSession指定为全局默认值。SparkSession配置，承诺看到WebUI中的变化。appN
浏览 1提问于2016-11-20得票数 12
回答已采纳
我正尝试在一个远程mongodb集合中插入一个spark sql数据帧。以前，我用MongoClient编写了一个java程序来检查远程收集是否可访问，并且我成功地做到了这一点。我现在的spark代码如下-warning: there was: com.mongodb.spark.sql.DefaultSource.crea
浏览 1提问于2016-08-10得票数 3
3回答
我正在努力计算以下DataFrame的最大值( 1.6.1 )第一种方法是选择最大值，并按预期的方式工作：df.select(max($"id")).showdf.withColumn("max", max($"id")).show
org.apache
浏览 7提问于2016-11-23得票数 3
1回答
我是新的scala和SBT构建文件。在入门教程中，将火花依赖项添加到scala项目应该是通过sbt火花包插件直接进行的，但是我得到了以下错误： "org.apache.spark&qu
浏览 2提问于2019-02-20得票数 0
在新项目中导入jar文件，并在主函数中运行以下简单代码： public static void main(String[]args) throws Exception {
}它构建时没有错误，但我在运行时得到了以下错误：
浏览 1提问于2018-06-11得票数 0
回答已采纳
我正在使用下面的pom.xml来构建我的项目。当我使用spark submit运行结果jar时，它给出了以下错误。java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils
但是，如果我包含--packages "org.apache.spark:spark-streaming-kafka-0-8-as
浏览 38提问于2017-08-29得票数 0
回答已采纳
连接4个数据文件并完成聚合。
at org.apache.spark.scheduler.CompressedMapStatus.getSizeForBlock--将中间文件重定向到s3，以便为工作节点提供更多的<
浏览 4提问于2021-08-07得票数 1
我正在尝试用Spark从亚马逊网络服务的S3存储桶中读取CSV文件，目前正在通过Jupyter笔记本进行读取。在为spark设置亚马逊网络服务S3配置后，我在尝试读取CSV时遇到以下错误： Py4JJavaError: An error occurred while calling SOMERANDOMNAME.csv： hadoopConf = spark.sparkContext.： data = spark.read.csv('s3a://'
浏览 45提问于2021-02-10得票数 0
回答已采纳
1回答
我正在尝试在运行2.4.4的scala项目中添加增量核心。
User类抛出异常: org.apache.spark.sql.AnalysisException:未能找到数据源Avro是内置的，但外部数据源模块，从
浏览 1提问于2020-08-17得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
