3回答
我的代码是使用monotonically_increasing_id函数的scala .withColumn("row_id", monotonically_increasing_id)
我想在我的单元测试中模拟它，以便它返回整数0，1，2，3，...在我的<e
浏览 18提问于2019-03-28得票数 3
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我试图运行简单的逻辑回归程序在火花。我得到了这个错误:我试图包含各种语言来解决问题，但这并不是解决问题。java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleType，更新从dataset中删除了string value属性，该数据集是label。:128)
at scala.collection.AbstractMap.getOrElse(
浏览 7提问于2017-06-30得票数 2
1回答
如何将选定的专栏写到卡夫卡主题？
、、、、
我使用的是星星之火-SQL2.4.1v和java1.8。: Required attribute 'value' not found; at org.apache.spark.sql.kafka010.KafkaWriter$$anonfun$6.apply(KafkaWriter.scala:71)
浏览 6提问于2019-11-25得票数 1
回答已采纳
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了但这不起作用，因
浏览 21提问于2015-07-15得票数 22
回答已采纳
第二次尝试，正如最初提出的错误例子。从医生那里：
preservesPartitioning指示输入函数是否保留分区器，除非这是一对RDD，并且输入函数不修改键，否则它应该是false。不错的散文，但它真正意味着什么呢？这里是一个人为的琐碎例子，不管我是否将true或false传递给mapPartitions，对于新的RDD，每个分区的数据分区仍然是相同的，即使我改变了K，V的K值，那么，意义是什么呢？一定是我错过了一些基本
浏览 0提问于2020-01-02得票数 2
回答已采纳
就像我们有SQL ISNUMERIC函数来验证表达式是否是数字一样，我需要在Spark SQL中是否有任何等效的函数，我试图找到它，但没有找到。如果有人可以帮助或建议相同的？
浏览 1提问于2019-06-24得票数 1
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false)
| |-- element: string (conta
浏览 30提问于2020-01-21得票数 3
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。下面是我到目前为止掌握的代码：importorg.apache.spar
浏览 8提问于2022-05-06得票数 0
我使用StructType定义了一个模式，用于读取Redsfhit中的数据帧。该表具有350+列，其中许多列被配置为布尔值。at scala.collection.immutable.StringOps.toBoolean(StringOps.<e
浏览 1提问于2017-11-22得票数 3
我在Spark DataFrame中有两列，每一列中的每个条目都是字符串数组。curious", "bought", "20"), Seq("iwa", "was", "asj"))我希望合并每一行中的数组，以便在新列中生
浏览 1提问于2018-03-07得票数 9
回答已采纳
最近，我尝试将默认函数应用于正在计算的聚合值，这样之后我就不必重新处理它们了。据我所知，我得到了以下错误。Caused by: java.lang.UnsupportedOperationException: Schema for type org.apache.spark.sql.Column is notsupported
来自下面的函数。
浏览 11提问于2020-03-13得票数 0
回答已采纳
我正在COL1上执行COL1，并使用concat_ws获取COL2的级联列表。我如何才能在这个列表中得到值的计数？这是我的密码： .concat_ws(",",org.apache.spark.sql.functions.collect_list
浏览 3提问于2017-11-27得票数 2
回答已采纳
2回答
我写了下面的函数 def AgeCategory(age:Int) : String = { returnwithColumn("Age_Category", AgeClassification.AgeCategory(df("age")))发现: org.apache.spark.sql.Column的成员
AgeClassification.Age
浏览 0提问于2019-03-31得票数 1
1回答
我一直对Spark中的col函数感到困惑，无论是Python还是Scala。这似乎是：Python中的df["zipcode"]和spark.sql.functions.col("zipcode")。让我感到困惑的是使用的最后一个用法。sp
浏览 2提问于2021-02-03得票数 1
我在用scala。我想在列"date“上划分DS。我使用以下语法。代码不会引发编译错误：
Scala重新分区函数的定义如下：
at org.apache.spa
浏览 7提问于2021-04-06得票数 0
我尝试使用列_c1和_c2作为Point()的输入，然后创建一个新的Point值列，如下所示然后我调用这个函数：但是，当我声明udf时，我得到以下错误(List.scala<
浏览 2提问于2017-04-27得票数 1
我的接口是RDD，所以我必须将DataFrame转换为RDD，当我使用df.withcolumn时，分区更改为1，所以我必须使用repartition和sortBy RDD。有没有更干净的解决方案？这是我的代码：val partition = rdd.getNumPartitions
println
浏览 100提问于2017-06-06得票数 1
回答已采纳
1回答
我想生成正态分布的随机数作为一列使用变异。我试过使用runif()，但它会在大规模数据上引发错误。：
错误: org.apache.spark.sql.AnalysisException:未定义函数：'RUNIF‘。该函数既不是注册的临时函数，也不是在数据库‘temp_data’中注册的永久函数。第1行pos 101在org.apache.spark.sql.catalyst.catalog.Sessio
浏览 1提问于2017-10-04得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号