1回答
我正在尝试用"left“连接两个数据帧，用"item”连接条件。
如果df2没有"equivalent_item"，那么我想使用df1 "item“本身。
浏览 10提问于2020-02-21得票数 0
回答已采纳
1回答
动态填充中的列名
、、、
我正在开发一个动态脚本，它可以join任何给定的pyspark。问题是文件中的列名会发生变化&连接条件的数目可能会有所不同。我可以在一个循环中处理这个问题，但是我使用一个变量名执行连接，它失败了。(我的目的是根据文件结构和联接条件动态填充a和b或更多列)a="existingFile.Id"
unChangedRecor
浏览 2提问于2018-02-24得票数 0
回答已采纳
我们使用的是与Spark 1.3.1接口的PySpark库。我们希望连接这两个数据帧，并使用{document_id, keyword}出现在document_df.document_text字符串中的条件，返回具有keyword_df.keyword对的结果数据帧例如，在PostgreSQL中，我们可以使用以下形式的ON子句来实现这一点：
document_df.document_text ilike '%' |
浏览 2提问于2015-10-16得票数 8
回答已采纳
1回答
有没有人可以建议一种方法来传递一个listofJoinColumns和一个条件来加入pyspark。 例如，我需要从列表中动态获取要连接的列，并希望在连接时传递另一个条件。下面解释了在scala中完成的类似操作：generating join condition dynamically in spark/scala 我正在寻找一个类似的解决方案在pyspark。我知道我可以使用join，例如a.join(b，a.join can，how=&q
浏览 16提问于2020-11-10得票数 1
在我的项目中，我希望在YAML文件中维护连接条件(pyspark数据帧连接条件)。table1.col1 == table2.col1当我从YAML读取联接条件时。我得到的结果如下(字符串类型)。，而不是字符串，或者将这种相等连接条
浏览 20提问于2019-12-02得票数 0
回答已采纳
1回答
我有一个带有n个cols的Pyspark Dataframe (Column_1，Column_2 .Column_n)。我必须再添加一个列，其中列的集合以逗号分隔。条件:如果两个或更多的cols具有值，则填充集合列中的逗号分隔值，例如。下面是三个cols的数据。
浏览 33提问于2020-06-23得票数 1
我有一个大数据与天气列，可以采取5个不同的数值(晴天，多云，雨，雪和其他)。我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。我想知道什么是“更好”的方法(更多的“标准”方法)。要么使用另一个具有天气列(此列上的join )和一个"new_data“列来添加这些新值(5行和2列)的小数据行进行连接，要么使用一个字典将数据的每一
浏览 2提问于2021-05-26得票数 2
回答已采纳
4回答
在使用.join()时，如何在pyspark中指定许多条件query= "select a.NUMCNT,b.NUMCNT as RNUMCNT ,a.POLE,b.POLE asjoin rapexp201412 a where (a.NUMCNT=b.NUMCNT and a.ACTIVITE = b.ACTIVITE and a.POLE =b.POLE )\
但在PySpark
浏览 0提问于2015-12-02得票数 23
1回答
我有PK列的列表。我在存储主键，因为每个表的主键数可能会发生变化。我想根据pk_list中的列连接两个数据帧。现在，我的代码如下所示：
full_load_tbl_nc = full_load_tbl.join(delta_load_tbl, (col(f) == col(s) for (f,s/yarn/usercache/root/appca
浏览 0提问于2018-12-07得票数 2
2回答
1650367659030 | x | 2020-06-08 | 3 |我想为每一次约会创造出最大的成就alias('created_max') )但这并不像预期的那样有效
浏览 4提问于2022-07-29得票数 0
2回答
选择具有更多数据的列
、、、、
我必须使用PySpark从包含更多数据或值的两个列中选择一个列，并将其保存在DataFrame中。
例如，列B有更多的值，因此我将将其保存在DF中以进行转换。同样，如果A有更多的价值，我也会选择A。我认为我们可以使用if else条件来完成这个任务，但是我无法得到正确的逻辑。
浏览 1提问于2022-10-02得票数 0
回答已采纳
我正在连接两个数据帧site_bs和site_wrk_int1，并使用动态连接条件创建site_wrk。我的代码如下： join_cond=[ col(v_col) == col('wrk_'+v_col) for v_col in primaryKeyCols] #result would be
site_wrk=site_bs.join(site_wrk_int1,join_cond,'inner').select(*site_bs.columns) join_cond将是动
浏览 27提问于2020-08-05得票数 0
回答已采纳
我需要连接两个表，条件是表中的一列与非常长的列表中的任何列匹配，即： columns = ['name001', 'name002', ..., 'name298']
df = df1.join(df2(df1['name']==df2['name1']) | (df1['name']==df2['name2']) | ... | df1['name&#x
浏览 15提问于2019-01-15得票数 0
回答已采纳
1回答
带空条件的pyspark连接
、、、、
我正试图加入以下两种基于“年份”和“发票”列的电火花数据格式。如果df1中缺少年份，则需要添加单独根据发票连接两列的逻辑。
浏览 1提问于2020-11-18得票数 1
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame # like column.map(lambda x: __valid_date(x))
_spark函数参数从库中传
浏览 4提问于2021-11-19得票数 0
回答已采纳
在pyspark中，我知道when子句可以具有多个条件，从而产生如下所示的单个输出： 'Output', (condition1==True)& (condition2==True), .otherwise(do_something_else)但是，当一个条件满足时，是否有可能执行多个输出？
浏览 1提问于2020-05-21得票数 1
回答已采纳
我是在这里使用spark/scala的新手，并且我在重构我的一些代码时遇到了麻烦。我正在运行Scala 2.11，使用的是pyspark，并且是在spark/yarn设置中。下面的代码是有效的，但我想把它清理干净，并从中获得最大的性能。我在其他地方读到pyspark、udf和lambdas可能会造成巨大的性能影响，所以我尝试减少或删除它们。更新
多亏了Alex的建议，使用spark-cassandra-connec
浏览 3提问于2020-10-30得票数 1
假设我有一个后继的DF，如下所示： consequents['a']['c'] 和另一个这样的项目DF items['a', 'b']___________ _______
[&#x
浏览 29提问于2021-03-29得票数 0
回答已采纳
1回答
如何使用循环创建联接条件？
、、、、
我正在创建一个通用条件，用于连接具有与下面代码相同的键和结构的2个数据文件。我想把它作为比较两个数据格式的函数。第一个想法是，我把它作为字符串条件，因为它很容易将条件与循环连接起来。最后，似乎联接条件无法接受字符串条件。有人能帮我指点一下吗？import pyspark.sql.functions as F
de
浏览 0提问于2022-07-11得票数 0
回答已采纳
如何在sql like分区上按条件连接两个DataFrames？我实际上需要连接两个数据帧，以便对于每个组(基于一个列变量)，我与其他表进行外部连接。例如，我有以下两个数据帧：
df2：所需的输出类似于：我曾尝试使用Pyspark的Window操作符，但无法使用，因为它不能用于窗口上的连接。
浏览 12提问于2019-07-25得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
