我想在两个数据帧之间执行左连接，但是列并不完全匹配。第一个数据帧中的联接列相对于第二个数据帧有一个额外的后缀。from pyspark import SparkContext ['AB-101', 3],
浏览 1提问于2017-08-08得票数 3
回答已采纳
1回答
我正在尝试使用PySpark在spark数据帧的所有列中查找一个子字符串。我目前知道如何使用filter通过一列搜索子字符串，并且包含： df.filter(df.col_name.contains('substring')) 如何扩展这条语句或利用另一条语句在多个列中搜索子字符串匹配
浏览 21提问于2019-10-17得票数 0
回答已采纳
2回答
在中过滤数组
、、、、
火花版本: 2.3.0 Array Col['strawberry', 'raspberry']
['apple', 'pineapple', 'grap
浏览 3提问于2021-10-01得票数 1
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。不幸的是，对需求的更改意味着代码在任何情况下都不能使用pandas udf或映射到rdd。我需要直接在pysp
浏览 7提问于2021-03-15得票数 0
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则字符串应
浏览 0提问于2021-02-09得票数 0
有一个pyspark数据帧，其中有一列title都是字符串。需要找到包含以下单词列表['Cars','Car','Vehicle','Vehicles']中的任何一个的所有行。需要进行筛选，以便仅从此列表中查找包含单词的行。\b"').select('id','title') 只需要匹配精确的单词，如‘汽车’，而不是'sC
浏览 45提问于2021-07-20得票数 1
我有一个pyspark dataframe，其中一些列包含字符串数组(其中一列包含嵌套数组)。因此，我无法将数据帧写入csv。下面是我正在处理的数据帧的一个示例- |ID | emailed| clicked| Null +------
浏览 2提问于2017-09-11得票数 5
回答已采纳
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col|| 1|[a, b, c,d]|
pyspark> df.printSchema(
浏览 29提问于2020-01-24得票数 0
回答已采纳
我正在处理两个pyspark数据帧，并对它们进行左反联接，以跟踪日常更改，然后发送电子邮件。Table_b, how='left_anti'预期输出是包含一些数据或不包含任何数据的pyspark数据帧。这个比较数据<e
浏览 0提问于2019-06-22得票数 3
我想在spark控制台上打印我的spark数据框名。例如:我在df1中的数据框名称。如果我尝试在控制台上打印它，它会打印如下: DataFrameid: int，name: string
我们有没有内置的函数来打印刚才的数据框名称？
浏览 6提问于2020-02-17得票数 0
回答已采纳
假设我们有一个pyspark数据帧，其中一列(column_a)包含一些字符串值，还有一个字符串列表(list_a)。数据帧：some_string | 10third_string | 30['string我想过滤这个数据帧，只有当column_a的值包含list_a的项目
浏览 0提问于2019-10-01得票数 5
回答已采纳
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总列的名称应与列的原始名称相同，而不是PySpark以下是一个例子： df- PySpark数据帧</em
浏览 24提问于2021-09-08得票数 0
我通过执行下面的命令创建了两个数据帧。我想加入这两个数据框架，结果数据帧包含PySpark中的非重复项。2| 3|| e| 4| 1|+---+--------+-----+
我想加入上面两张桌子
浏览 0提问于2018-02-12得票数 0
回答已采纳
1回答
我正在尝试使用PySpark从列中提取正则表达式模式。我有一个包含正则表达式模式的数据帧，然后是一个包含我想要匹配的字符串的表。, 'Match1', 'Found1'),]
df_regex = sql.createDataFrame(vals, columns) 我希望匹配我想根据每个id提取术语，结果表中包
浏览 27提问于2019-01-22得票数 3
回答已采纳
1回答
我希望加入到一个值的基础上，最接近的匹配低于该值。在SQL中，我可以很容易地做到这一点。考虑以下数据： tblActuals |Date |Temperature:|10/02/2020 |15.3|12tblCoefficients b where b.Metric <= a.Temperature order by b.Metric desc) as coefficient
from
浏览 37提问于2021-02-09得票数 0
回答已采纳
我正在尝试基于部分对应的字符串来匹配R中两个数据帧的列。下面您将找到我的数据帧的一个小示例。数据帧1包含与数据帧2中的字符串匹配的激励字符串，后面带有"_FAM“。数据帧1： Stimulus MeanCR01 0.972
DF_0_30
浏览 21提问于2021-09-28得票数 0
使用PySpark数据帧，我试图尽可能高效地完成以下工作。我有一个dataframe，它有一个列，其中包含文本和我想用来筛选行的单词列表。bar]，因此结果将为：col1 col2 col_with_textyeh 0 bar
之后，不仅将完成完全相同的字符串匹配，还将使用SequenceMatcher或其他方法测试相似度。
浏览 2提问于2018-02-20得票数 3
回答已采纳
所以我有要分析的销售数据。我有日期时间数据“订单日期时间”，我想看看最常见的销售小时，但更重要的是，我想看看哪些分钟没有销售。 我已经转了一段时间了，但我的大脑无法找到解决方案。我导入数据： df = pd.read_excel ('Audit Period.xlsx')
print (df) 我清理数据： # Remove all columns except `applieddate
浏览 28提问于2021-09-22得票数 1
我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。我似乎不能让对象注册为int64或float64，所以我不能这样做 if df[col].dtype == np.object:我也不能使用.str.contains，因为即使包含数值的列是dtype
浏览 1提问于2020-06-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
