我有一个给定的数据集，结构如下： https://i.imgur.com/Kk7I1S1.png 我需要使用SparkSQL解决以下问题： 对于每个邮政编码，找出以前发生事故次数最多的客户。
浏览 27提问于2019-06-07得票数 0
回答已采纳
将DataFrame.groupBy()的示例代码放入我的代码中，但它显示max()和sum()的方法未定义。df.groupBy("department").agg(max("age"), sum("expense"));
如果我想使用max()和sum()方法，我应该导入哪个Java包？
浏览 1提问于2015-09-08得票数 8
2回答
我有下面的表达， s""" | proposal, | MAX(page_view_after) AS page_view_after |""".stri
浏览 1提问于2020-05-24得票数 0
回答已采纳
1回答
spark 包括用于计算min、max和类型"double“值的平均统计信息的工具，但是在尝试处理float类型的列值时，如何处理spark/java/cassandra场景？编辑了以显示分辨率：import static org.apache.spark.sql.functions.*;
浏览 0提问于2016-02-08得票数 1
3回答
我有个数据：| id| column1| column2|| 2| 6| 5|如何求出第以及如何求出列2中的值之和？
浏览 2提问于2020-05-06得票数 0
回答已采纳
3回答
当我尝试groupBy并获取最大值时，有了这个数据帧I正在获取列是不可迭代的：+---+-----++---+-----+ 65 linesWithSparkDF.show(10)---> 67 linesWithSparkGDF = linesWithSparkDF.groupBy(col("id")).agg(max(col("cycle")))
浏览 4提问于2016-04-29得票数 23
回答已采纳
3回答
我有一个包含数组列的数据帧，如下所示： val df = Seq( Array("bcd", "bc", "bcd]['abc']
['bcd
浏览 43提问于2020-04-02得票数 0
回答已采纳
已将数据帧注册为临时视图。我使用spark提供的sql方法运行以下sql语句。val maxDateDF = spark.sql("SELECT name, max(birthDate) maxDate FROM people group by name")
imp
浏览 22提问于2021-03-10得票数 0
回答已采纳
6回答
我想检查一下如何才能得到关于每个分区的信息，比如总no。在以部署模式提交Spark作业时，驱动端每个分区中的记录作为纱线集群提交，以便在控制台上记录或打印。
浏览 15提问于2017-09-04得票数 22
回答已采纳
2回答
目标是在DataFrame df中计算字段minTimestamp的最小值和字段maxTimestamp的最大值，并删除所有其他值。1530809940val cw_min = Window.partitionBy($"src", $"dst").orderBy($"minTimestamp".asc)
val cw_max"rn", row_number.over(cw_min)).where($"rn" === 1).drop("
浏览 46提问于2018-07-06得票数 1
回答已采纳
数据类型。我想要类似的输出使用java。(yesterdayDate)).groupBy("mobileno").max("edate"); 但是我得到了这个错误： org.apache.spark.sql.AnalysisExceptionAggregation function can only be applied on a numeric column.;
at org.apache.spark<
浏览 65提问于2019-02-22得票数 0
|1 ||query8|13|3 |+------+--+-----+ 如果变量number是2，我想得到下面的数据帧其次，我使用迭代器遍历列表，并使用df.select($"eachColumnName"...).where("query".equalTo(iter.next())).将数据帧裁剪为列表中的当前查询然后是.limit(howMany)，然后是groupBy($&
浏览 20提问于2019-02-08得票数 0
回答已采纳
我想从dataframe访问特定列的min和max，但是我没有该列的标题，只有它的编号，所以我应该使用scala吗？
浏览 10提问于2017-04-05得票数 35
回答已采纳
1回答
读取数据时，条目按时间戳排序，因此RDD的每个分区都应按时间戳排序。我想做的是，找到每一个键，最大的差距之间的2个顺序时间戳。我已经思考这个问题很长时间了，我看不出这是如何实现的，考虑到火花提供的功能。我看到的问题是:当我做一个简单的地图时，我会丢失订单信息，所以这是不可能的。任何关于如何处理这个问题的帮助都会非常有帮助。
浏览 1提问于2016-10-09得票数 0
回答已采纳
在我的完整数据中有数百列，所以手动转换每一列是不可行的。scala> import spark.implicits._import org.apache.spark.sql.functions._
scala> val df = Seq((1,3)
浏览 49提问于2020-06-12得票数 0
回答已采纳
我有两个.txt数据文件。第一列包含两列(电影、电影院)，第二列也包含两列(电影、观众)，如下面的示例所示。我想要做的是，在cinema_1 中找到观众人数最多的电影。。|| movie_3 | 31 |例如，在上面的示例中，两个候选对象是movie_3和movie我到目前为止所做的事： val moviesCinemas = sparkSession.read
.format("c
浏览 0提问于2017-02-18得票数 0
回答已采纳
我正在使用hadoop 3.0.0和spark 2.2.0中的以下scala代码处理数据帧。BAQ是ID列，AAA是日期YYMMDD的字符串列。| groupBy("BAQ").agg("AAA"->"min");
dtfAbnoFirs: org.apache.spark.sql.DataFrame = [BAQ: string| join(dtfAbnoFirs,Seq(&q
浏览 34提问于2021-04-08得票数 0
回答已采纳
我正在Java中使用Spark2.0。我有一个数据集，如下所示： ID|col1|col2|col3| date|968800| 2010-12-31|我试过了
Dataset<Row> df = old_df.groupBy("ID").max("dat
浏览 7提问于2016-09-26得票数 2
回答已采纳
| 63|| a|pref1| e| 84|+----+-----+---+-----++----+-----+---+----------++----+-----+---+----------+| a|pref2| z| 105|
+----+-----+---+----------+
浏览 0提问于2017-03-07得票数 13
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
