我的要求如下 连接两个数据帧，如下所示： var c = a.join(b,keys,"fullouter") c.printSchema()如下： |-- add: string现在我正在执行一个when列when条件，如下所示 val d = c.withColumn("column", when(c("a.add") === c("b.ADD&qu
浏览 5提问于2020-04-23得票数 0
回答已采纳
我在spark Df1和Df2中有两个数据帧我基于一个公共列(即Id )连接这两个数据帧，然后添加一个额外的列结果，并使用或条件检查多个列。如果有任何列数据匹配，则需要插入新列作为匹配，如果没有匹配的条件，则需要在该列中传递为“未匹配”。我正在写下面的代码。df1.join(df2,df1("id") ===
浏览 36提问于2020-05-15得票数 0
我在spark Df1和Df2中有两个数据帧我基于一个公共列(即Id )连接这两个数据帧，然后添加一个额外的列结果，并使用或条件检查多个列。如果有任何列数据匹配，则需要插入新列作为匹配，如果没有匹配的条件，则需要在该列中传递为“未匹配”。我正在写下面的代码。: (condition: org.apache.spark</
浏览 2提问于2020-05-15得票数 1
Color", "Shape", "Range","Size").map(Tuple1.apply).toDF("color")
我想再写一个WHEN条件，在上面where size >
浏览 13提问于2017-02-21得票数 5
我有一个包含多个列的spark dataframe，重要的是一列带有日期时间戳，另一列带有值。如果值对应于某个特定时间之前的日期时间，我希望将value列中的所有值按一个常量进行缩放。只有值列中的值应该更改，其余的数据帧应该保持不变。 我尝试过使用map函数来实现这一点，但我对spark<em
浏览 23提问于2021-04-21得票数 0
回答已采纳
我有一个包含几列的数据帧。现在我想从另外两个列派生一个新列：new_df = df.withColumn("new_col", F.when(df[otherwise(0))py4j.Py4JException: Method and([class java.lang.Double]) does not exist
它只在一个条件下工作，如下
浏览 0提问于2015-10-15得票数 34
回答已采纳
3回答
上下文 数据帧应该有category列，该列基于一组固定的规则。规则集变得相当大。问题 有没有一种方法可以使用元组列表(参见下面的示例)来动态链接when条件，以实现与底部硬编码解决方案相同的结果。.,
] 示例 这里有一个重复性的玩具示例。由组和ids组成的数据帧应该添加category列，这取决于group列的内容。规则列表
浏览 19提问于2020-10-15得票数 1
回答已采纳
1回答
我想要执行大量的配置单元查询，并将结果存储在数据帧中。我有一个非常大的数据集，结构如下：| visid_high，它使用每一行作为二级查询的输入：for session in sessions.collect()[:100]:
query = "SELECT prop8,sessi
浏览 5提问于2018-07-23得票数 0
我已经创建了一个带有模式的空数据帧。我正在尝试将新数据帧中的列添加到for循环中的现有列中。._1))k.show()有人能帮我一下吗？
谢谢！！
浏览 5提问于2017-10-03得票数 0
我需要将下面的sql代码转换为pyspark数据帧代码，而不是spark.sql(‘代码’)代码。select * from table1 where case when clm1 in ('R','C', 'F') then l=1 and(select coalesce(max (code),0) from table2 where clm2
浏览 20提问于2020-07-06得票数 0
1回答
我是Spark的新手。我正在尝试用java实现spark程序。我只想从一个文件夹中读取多个文件，并通过将其单词@filname作为键和值(Count)组合在一起。
我不知道如何将所有数据组合在一起。
浏览 11提问于2018-02-06得票数 0
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
4回答
我有一个有100列和列名的数据帧，比如col1、col2、col3……我想根据条件匹配对列的值应用特定的转换。我可以将列名存储在字符串数组中。并在withColumn中传递数组的每个元素的值，并且基于When条件我可以垂直转换列的值。但问题是，由于数据帧是不可变的，所以每个更新的</e
浏览 23提问于2020-07-10得票数 0
回答已采纳
我有一个问题，因为当我做连接时，我得到了两次相同的列。| ReviseAll || 9199 | NoData |+-------------+----------+-------------+-------------+-------------+ 但我有这样的感觉|
+-------------+----------+---
浏览 10提问于2021-07-22得票数 0
2回答
所以我有一个数据帧，它有一个列，file_date。对于给定的运行，数据帧只有一个唯一file_date的数据。例如，在一次运行中，让我们假设大约有100条记录的file_date为2020_01_21。/分区，因为很可能会重新运行特定文件的数据，并且必须覆盖特定FILE_DATE _ file_date的数据。不幸的是，在上面的代码中
浏览 4提问于2020-01-22得票数 4
我在spark中加载了一个来自csv文件的数据帧。但是，我想在dataframe中添加两列，这些列的内容取决于已经存在的一列的内容。我需要添加一个名为Period的列和一个名为Year的列。新列period只能包含值"Weekly“或"Monthly”。如果YearWeek列以"w
浏览 9提问于2020-03-17得票数 0
1回答
我需要对多个列应用一个when函数。我想检查这些列中是否至少有一列的值大于0。这是我的解决方案： df.withColumn("any value", F.when( (col("col2") > 0) | , "any greater
浏览 11提问于2021-06-28得票数 2
回答已采纳
1回答
我有一个Pandas的代码，它计算出x窗口上线性回归的R2。参见我的代码： def lr_r2_Sklearn(data): X = pd.Series(list(range(0,len(data),1return(regressor.score(X,Y))
r2_rolling = df[['value']].rolling(300).agg([lr_r2_Sklearn]) 我做了一个大小为300的滚动，并计算每个窗口的
浏览 29提问于2020-06-26得票数 0
回答已采纳
我在AWS Glue脚本中使用Spark SQL来转换S3中的一些数据。下面是脚本逻辑 数据格式CSV 编程语言: Python 1)使用胶水的目录将数据从S3拉取到胶水的DynamicDataFrame中 2)使用toDF()从Glue的数据帧中提取火花数据帧 3)制作Spark数据帧Spark SQL表 c
浏览 125提问于2019-04-18得票数 1
1回答
我的data.csv文件有三列，如下所示。我已经将这个文件转换为python spark dataframe。A B C| 2 | 0 | 5 |我想在spark dataframe中添加另一列D，值为Yes或No，条件是如果B列中的相应值大于A B C D| 2 | 0 | 5 | No |
| 6 | 6 |
浏览 0提问于2019-02-23得票数 3
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
