联合两个Spark数据帧并添加新列以标识最新日期

文章/答案/技术大牛

发布

1回答

python、pyspark

假设我有两个数据帧第一个dataframe有value列的值(每个id都是唯一的) id date value some_other_columns...2 2020-09-30 'b' 3 2020-10-01 'c' 第二个数据框具有value列的

浏览 13提问于2020-10-14得票数 0

回答已采纳

2回答

Spark联合列顺序

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我最近在Spark遇到了一些奇怪的事情。据我所知，根据spark dfs的基于列的存储方法，列的顺序实际上没有任何意义，它们就像字典中的键。| 2|asda|| asd| 1|| f1f| 3|看起来使用了df1中的模式，但数据似乎是按照原始数据帧的顺序连接的这仅仅是因为它是pyspark

浏览 3提问于2019-07-09得票数 26

回答已采纳

1回答

如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？我可以看到spark的unionAll不支持此操作，并抛出以下错误 org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns, but the left table

浏览 0提问于2016-08-04得票数 0

1回答

合并具有不同模式的两个地块文件

python、dataframe、parquet、databricks

我有两个拼图文件，拼花A有137列，拼花B有110列。拼图文件包含表的整个历史记录。因此，拼图A拥有表的整个历史记录的所有字段。拼图B是我今天拉入的所有值，删除了17列。是否可以将缺少的列添加到拼接B并添加空值。那就加入工会吧？

浏览 19提问于2018-09-06得票数 0

2回答

对于1-2列，多个镶嵌块文件具有不同的数据类型

python、pyspark、schema、parquet

我尝试使用Pyspark将不同的拼图文件读取到一个数据帧中，但它给了我错误，因为多个拼图文件中的一些列具有不同数据类型的列。例如:列"geo“在某些文件中的数据类型为"Double”，在另一些文件中为"String“。我应该如何处理这个问题？我必须在多个拼图文件中手动转换具有不同数据类型的每一列吗？

浏览 12提问于2021-11-22得票数 0

1回答

Python - Pandas列合并/连接/连接

pandas、dataframe、merge

和一个如下所示的字典：我想用这个字典更新这个csv，这样就可以将具有相同标识符的列附加到后面，并为新的标识符创建一个列。, NaNNaN , 3

浏览 0提问于2018-09-24得票数 0

1回答

将流数据集追加到Spark中的批处理数据集

apache-spark、apache-spark-sql、apache-spark-2.0、spark-structured-streaming

我们在Spark中有一个用例，我们希望将历史数据从数据库加载到Spark，并不断向Spark添加新的流数据，然后我们可以对整个最新数据集进行分析。据我所知，Spark SQL和Spark Streaming都不能将历史数据与流数据结合起来。然后我发现Spark 2.0中的结构化流媒体似乎就是为这个问题而构建的。但经过一番试验，我

浏览 0提问于2016-10-03得票数 3

1回答

如何将预告片行添加到具有行计数的Pyspark数据帧中

python、apache-spark、pyspark、apache-spark-sql、pyspark-pandas

F| 4100|+---+---------+--------+------+------+需要添加一个额外的行列“名字”可以是任何类型的。| 6200|+---+---------+--------+------+------+ 尝试创建一个带有预告片值的新数据帧，并按照大多数叠层溢出解决方案的建议应用联合--

浏览 7提问于2022-10-12得票数 0

1回答

在pyspark dataframe中添加一个组合两列的新列

pyspark、pyspark-sql、pyspark-dataframes

我有一个pyspark数据帧，包含两个日期参数和几个其他参数。345 || 3 | 2019-06-01|2019-05-01| 324 | 我希望将这两个日期列合并到一个新列中我还希望使用将日期添加到新列的条件，如date1、<=、given_dat

浏览 13提问于2019-11-19得票数 0

2回答

错误:类型不匹配：：找到:布尔值：：必需: org.apache.spark.sql.Column问题：：Spark/Scala

apache-spark、apache-spark-sql

我在spark Df1和Df2中有两个数据帧我基于一个公共列(即Id )连接这两个数据帧，然后添加一个额外的列结果，并使用或条件检查多个列。如果有任何列数据匹配，则需要插入新列作为匹配，如果没有匹配的条件，则需要在该列中传递为“未匹配”。我正在写下面的代码。error: type mismatch; f

浏览 36提问于2020-05-15得票数 0

3回答

Spark数据帧中两行之间的差异

scala、apache-spark、apache-spark-sql

我在Spark中创建了一个数据帧，按column1和date分组，并计算了数量。3000B |1-jul |100B |1-May |400现在，我想添加一个新列，其中包含表中任意两个日期的金额之差。

浏览 1提问于2017-08-06得票数 5

3回答

如何将两列合并为新的DataFrame？

scala、apache-spark、dataframe

我有两个DataFrames (Spark2.2.0和Scala2.11.8)。第一个DataFrame df1有一个名为col1的列，第二个df2也有一个名为col2的列。两个DataFrames中的行数相等。我尝试过join，但我认为应该有其他方法来实现它。另外，我尝试应用withColumm，但它没有编译。

浏览 1提问于2017-11-24得票数 3

回答已采纳

3回答

将月份添加到Spark dataframe中的日期列

python、apache-spark、pyspark、apache-spark-sql

我有一个场景，我想在spark DataFrame中的date列中添加月，该列有两个数据类型为(Date，Int)的列。例如：data_date months_to_add2016-07-20 7 我想添加一个新的列，它将有一个新的日期(在向现有日期添加月份之后)，输出将如下所示data_date"),

浏览 14提问于2017-08-10得票数 7

回答已采纳

2回答

组合(不是sql连接)2个spark数据帧

apache-spark、apache-spark-sql

我有两个很大的数据帧，下面是示例。第一 firstnames|lastnames|agebob|lip|36tom|form|24mary|gu|24...

浏览 19提问于2019-04-11得票数 0

回答已采纳

2回答

比较两种不同的pyspark数据帧

pyspark、apache-spark-sql、compare

这样，我需要在两个数据帧之间执行每日比较，以确定记录是新的、更新的和删除的。以下是两个数据帧的示例： today = spark.createDataFrame([ [2, "Banana", 4000, "A"],Tangerine", 3000, "B"], [

浏览 24提问于2021-08-27得票数 0

1回答

Spark管道中的UDF

apache-spark、pyspark、user-defined-functions

我在python中创建了一个UDF，用于计算表中两个日期列之间的日期数组，并将其注册到spark会话中。我在管道中使用这个UDF来计算一个新列。现在，当我将这个流水线保存到HDFS，并希望它被读回以便在不同的程序中执行(使用不同的spark会话)时，UDF是不可用的，因为它没有在任何地方全局注册。由于该进程是通用的，并且需要运行多个管道，因此我不想添加UDF定义并将其注册到spark会话中。有没有

浏览 1提问于2018-02-12得票数 0

3回答

传输数据b/w 3个表

sql、sql-server-2008、ssis

我想将一个表中2列的数据和另一个表中的3列数据传输到最终的输出表中(包含5列).The的问题是A和B table.How之间没有公共列可以在SSIS.？

浏览 0提问于2012-04-02得票数 0

1回答

分裂日期和时间变量与火花

r、apache-spark、datetime、dplyr、sparklyr

我试图处理火花数据帧中的日期和时间变量(dttm)。我用的是火花和dplyr。这是我的问题..。所涉列的每一行都采用这种格式：因此，首先，我使用了regexp_replace并变异创建了time列</e

浏览 0提问于2019-06-19得票数 1

1回答

确定定期更新或插入sql server中的行。

java、sql-server、sql-server-2008

我研究了一些方法，如使用时间戳列、更改跟踪机制、更改数据捕获。2.更改跟踪需要每个表中的主键。3.更改数据捕获需要创建一些系统表和其他自定义。我需要一些方法，它不需要在数据库中进行如此繁重的自定义，因为数据库是至关重要的，并且不允许更改配置设置。

浏览 2提问于2014-03-20得票数 3

4回答

比较两种数据火花

python、dataframe、apache-spark、pyspark、apache-spark-sql

我试图比较两个列数相同的两个数据帧，即在两个数据帧中有4列以id作为键列df2 = spark.read.csv("/path/to/data2.csv") 现在我想将新

浏览 7提问于2020-02-18得票数 7

回答已采纳

点击加载更多