如何在Scala - Apache Spark中查找数组中值的平均值 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

如何在Scala - Apache Spark中查找数组中值的平均值

scala、apache-spark、rdd

我有一个值数组，如下所示： scala> number.take(5) res1: Array[Any] = Array(908.76, 901.74, 83.71, 39.36, 234.64)我需要使用RDD方法找出数组的平均值。我尝试过使用number.mean()方法，但它一直显示以下错误： error: could not find implicit value for parameter num: Numeric[Any] 我是Spark的新手，请提

浏览 29提问于2019-05-06得票数 0

2回答

如何在ApacheSpark1.0中构建大型分布式[稀疏]矩阵？

scala、serialization、distributed、apache-spark、scala-breeze

我有这样一个RDD：byUserHour: org.apache.spark.rdd.RDD[(String, String, Int)]，我想创建一个稀疏的数据矩阵，用于像中位数、平均值等的计算。我有两个数组，包含用于查找的row_id和column_id字符串。$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGSchedule

浏览 0提问于2014-06-10得票数 4

回答已采纳

2回答

将火花DataFrame分割成两半，没有重叠的数据

dataframe、apache-spark

我有一个关于38313行数的Dataframe，对于一些AB测试用例，我需要将这个DataFrame分成一半并分别存储。出于这个目的，我使用的是org.apache.spark.sql.randomSplit，这个函数在一个小数据集上似乎很好，但是当您有一个大的DataFrame时，它就会引起一些问题。我注意到，每次我把DataFrame分成两半，我就会得到一个重叠的结果。//可能底层的dataframe不保证每次出现拆分时其//

浏览 0提问于2019-08-29得票数 1

回答已采纳

1回答

apache火花理解密集向量

vector、apache-spark

我的问题基于的代码。为什么我们必须将下面的向量定义为密集向量？在每个向量中只有3个元素的情况下，定义稠密向量有什么帮助。为什么我们不能把它们当作向量呢？

浏览 2提问于2016-04-10得票数 0

回答已采纳

1回答

在提交Apache Spark作业时在spark.jars中使用通配符

apache-spark

我有一组JAR，我想要提供给我的Spark作业，存储在HDFS上。Spark2.3的文档中说spark.jars就是这样的参数： spark.jars: Comma-separated list of jars to include on the driver andat org.apache.spark.util.Utils$.fetchHcfsFile(Utils.scala:724)

浏览 0提问于2018-05-08得票数 9

1回答

使用字节数组创建火花DataSet时出错

scala、apache-spark、apache-spark-sql

我正在使用case类和spark.sql({query}).as[MyCaseClass]语法在scala中创建Spark .as[HbaseRow]at org.apa

浏览 1提问于2018-11-26得票数 1

回答已采纳

1回答

火花与卡桑德拉并行处理

apache-spark、cassandra

用户在执行submit命令时提供一组配置文件的IP地址。val ips = Array(1,2,3,4,5)编辑的线程"main“中的异常:在org.apache.spar

浏览 4提问于2016-04-21得票数 0

1回答

星星之火Sql：“类似”语法错误

apache-spark-sql

当我被处决时在我的星星之火应用程序中，错误显示如下：从日志中选择*，其中的内容如%流%^ at org.apache.spark.sql.catalyst.AbstractSparkSQLParser.apply(Abs

浏览 0提问于2015-09-29得票数 2

2回答

使用构建器创建火花会话？

java、apache-spark-sql、apache-spark-mllib

如何在Java中使用构建器创建sparkSession？线程"main“java.lang.NoSuchMethodError: java.lang.NoSuchMethodError中的异常org.apache.spark.util.Utils$$anonfun(Utils.scala:2373) at org.apache.spark.SparkContext.(SparkContext.scala:295) at or

浏览 5提问于2017-04-28得票数 1

回答已采纳

1回答

如何创建countVectorizer模型的一个列中包含值数组的火花数据

apache-spark、spark-dataframe、countvectorizer

中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。org.apache.spark.ml.util.SchemaUtils$.che

浏览 1提问于2017-09-05得票数 0

回答已采纳

1回答

如何在spark* sql中对数组进行成员级操作？*

apache-spark、apache-spark-sql

在spark-sql中，我有一个列为col的数据帧，其中包含一个大小为100的Int数组(例如)。我希望将该列聚合为一个值，该值是一个大小为100的Int数组，它包含该列中每个元素的总和。，然后将100个结果显示为包含100个项的数组。然而，这似乎非常低效，因为如果我的数组大小超过大约1000项，catalyst甚至无法为此生成代码。在spark</em

浏览 2提问于2018-10-17得票数 0

3回答

如何比较SQL语句中两种数据的模式？

scala、apache-spark、apache-spark-sql

在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。中没有数据库(模式)的概念，但是我读到了包含模式信息等的亚稳态。我们可以在SparkSQL中编写像上面这样的SQL查询吗？我只是在检查为什么显示create没有使用spark，是因为它是一个临时表吗？scala> val

浏览 6提问于2018-09-04得票数 1

2回答

[Scala][Spark]：转换数据帧中的列，保留其他列，使用withColumn和map [错误:缺少参数类型]

scala、apache-spark、types、functional-programming、explode

, C++]| CA||Robert,,Williams| [CSharp,|CA ||Michael,Rose, |Spark |NJ |

浏览 11提问于2021-10-11得票数 2

2回答

通过DataFrames使用spark-csv获取NullPointerException

apache-spark、spark-dataframe、spark-csv

在中运行的示例Java代码如下: import org.apache.spark.sql.SQLContext；import org.apache.spark.sql.types.*； SQLContext并将StructFields作为new StructField[]进行了编译；编译器在StructField的构造函数中为metadata请求了第四个参数，但我很难找到关于它含义的文档(javadoc描述了它的用例

浏览 2提问于2015-12-21得票数 8

2回答

将Array[string]类型的两列合并为新的Array[string]列

scala、apache-spark、apache-spark-sql、user-defined-functions

我在Spark DataFrame中有两列，每一列中的每个条目都是字符串数组。curious", "bought", "20"), Seq("iwa", "was", "asj"))我希望合并每一行中的数组然而，当我运行上面的代码时，我会得

浏览 1提问于2018-03-07得票数 9

回答已采纳

2回答

如何在Spark* (2.4) SQL -Scala2.11中避免ArrayType的自动转换*

scala、apache-spark、casting、apache-spark-sql

给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false) | |-- element: string (conta

浏览 30提问于2020-01-21得票数 3

2回答

在scala中的hive表中创建数据帧时，无法将模式名称作为输入

scala、hadoop、apache-spark、hive

我正在尝试从clickstream_db模式中存在的一个现有的单元表中创建一个数据格式。(SparkILoop.scala:1059) at org.apache.spark.repl.Main.main(SparkSubmit.scala) 如果我将granulartable作为输入

浏览 5提问于2015-12-22得票数 2

回答已采纳

1回答

窗口函数在Spark中崩溃

apache-spark、apache-spark-sql

查询： Exception in thread$1.apply(TreeNode.scala:109)at org.apache.spark.sql.catalyst.trees.TreeNod

浏览 2提问于2018-10-12得票数 1

2回答

星星之火- CSV -可空错误不抛出异常。

scala、apache-spark、hadoop

有点困惑，为什么火花没有抛出异常，而架构是用可空的fase定义的。这是我的例子 val testSchema = StructType(知不知道我的火花版本2.2.2

浏览 9提问于2020-04-13得票数 3

回答已采纳

2回答

Spark Mongo DB连接器-未找到类定义

java、mongodb、apache-spark

我有Spark 1.6.3，它有Scala 2.10.5以下是我在Mavan中使用的依赖项</dependency> java.lang.NoClassDefFoundError: com/mongodb/spark/rdd

浏览 0提问于2020-06-18得票数 0

点击加载更多