1回答
我想使用循环将这n列连接在一起。我有一个连接列的函数： def concat_(*args): return udf(concat_, ArrayType(type))
在下面的示例中，我有4列，我将像这样连接它们：
df_auxpatron_t
浏览 0提问于2018-01-17得票数 1
回答已采纳
1回答
我正在使用bank data from UCI来创建一个项目的模板。我在他们的文档网站上关注了PySpark教程(对不起，我再也找不到链接了)。在流水线中运行时，我一直收到错误。
浏览 11提问于2019-06-14得票数 3
回答已采纳
当在循环中重复相同的数据时，就会发生堆栈溢出错误。数据量仅为40k记录。在单节点14 is /28 is时，尝试使用集群大小。
样本数据。
浏览 8提问于2022-06-07得票数 0
用其中一种语言(R或Pyspark)解决方案就足够了。BCT_12 [BCT] [12]500_ERP_70 [500] [ERP_70]
目前，我正在计算_的数量，并使用for循环来拆分所有这些元素，并在第一个实例之后连接列。
浏览 1提问于2020-09-08得票数 0
回答已采纳
1回答
动态填充中的列名
、、、
我正在开发一个动态脚本，它可以join任何给定的pyspark。问题是文件中的列名会发生变化&连接条件的数目可能会有所不同。我可以在一个循环中处理这个问题，但是我使用一个变量名执行连接，它失败了。(我的目的是根据文件结构和联接条件动态填充a和b或更多列)a="existingFile.Id"
unChangedRecords = existingFile.join(incrementalFi
浏览 2提问于2018-02-24得票数 0
回答已采纳
我有一个spark表，我想在python中读取(我在databricks中使用的是python3)，实际上结构如下。日志数据存储在单个字符串列中，但它是一个字典。toDF('LogData','State','Orders','OrdDate') 我想要做的是将spark表读取到数据帧中，找到最大事件时间戳，找到具有该时间戳的行，然后计数并仅将这些行读取到具有数据列的新数据帧中，并从日志数据中添加事件id (不包括记录索引)、事件日期和记录索引的列。不过，我遇到
浏览 39提问于2020-07-01得票数 1
回答已采纳
1回答
George 5
uid1 count11 Paul 4(我故意使用相同的DataFrame，有不同的名称)>>> cond = (sample3.uid1 == sample4.uid1) & (sample3.count1 == sample4.cou
浏览 5提问于2015-08-24得票数 0
2回答
我试图将多个列连接到一个列，但只有在列名在列表中的情况下。所以问题= {'a'，'b'，'c'}是我的列表，需要将它作为问题列与；分隔符连接起来。
我试过: 1。
浏览 9提问于2022-12-02得票数 0
2回答
seconddf-column3':5}, \现在我想通过多个列(大于1的任何数字)来连接它们
我拥有的是第一个DataFrame的列的数组和第二个DataFrame的列的数组，这些数组具有相同的大小，我希望通过这些数组中指定的列进行
浏览 15提问于2016-09-21得票数 8
回答已采纳
2回答
我试图在一个5k数据集中对包含单词"road“的列进行反求。并创建一个新的数据格式。我不知道如何做到这一点，以下是我所做的努力：
spike_cols = [col for col in df.columns
浏览 0提问于2018-07-18得票数 6
回答已采纳
2回答
优化大量列的不同值
、、、
我需要计算大量列(>20,000)的不同值。我现在使用pyspark.sql.functions.approxCountDistinct()来获得每个列的不同计数的近似值。我有一个循环来完成这个任务。distinct_values_list[cname] = df.select(cname).distinct().collect()
它非常慢，因为大多数时候，我有许多列要处理，可以是一半的列(10K难道没有办法让火花一次做很多列吗？似乎它只会并行
浏览 2提问于2018-05-21得票数 0
回答已采纳
1回答
假设我有一个列的列表，例如： col_list = ['col1','col2']print(df.columns)
# ['col1','col2','col3'] 我需要通过连接col1和col2来创建一个新列。我不想在连接时硬编码列名，但需要从列表中选择它。 我该怎么做呢？
浏览 14提问于2019-02-28得票数 4
我每年都会使用下面的代码来提高学生的年龄。目的是了解每年的学生总数。from pyspark.sql.functions import colgr = Df2.groupby(['Year'])
df_grouped我想按年增加学生人数，按年计算学生总数，避免重复使用ID。
浏览 2提问于2017-09-26得票数 62
回答已采纳
1回答
我正在尝试连接多个dataframe列，我无法在下面的concat_ws语句中执行pyspark或expr。from pyspark.sql.functions import udffrom pyspark.sql.functionsimport concat_ws,concat,when,col,expr
from pyspark.sql.functions impo
浏览 1提问于2020-08-30得票数 0
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：df['newcol'] = F.concat(df['col_1'], df['col_2'])相反，这样做的实现方法是
df = df.withColumn
浏览 1提问于2016-07-28得票数 1
回答已采纳
我需要使用银行家的四舍五入( 0.5四舍五入到最近的偶数)在PySpark中舍入一列。到目前为止，我尝试过这样的方法： 即使我在Python 3+中运行这个函数，
浏览 7提问于2022-07-08得票数 2
回答已采纳
因此，在这个场景中，我们有不一致的B列，我的结果表应该如下所示： ColA | ColB | ColC | ColD
return df return df 我有这个is_not_unique_col函数，它检查一列是否有多个值我对我的所有列运行它，那些返回True的列被
浏览 12提问于2020-10-07得票数 0
回答已采纳
1回答
我试图将多个列作为一个udf (使用pyspark.sql.functions.struct())传递给一个StructType。在这个udf中，我希望获得作为list传递的struct列的字段，这样我就可以对每一行遍历传递的列。
基本上，我正在寻找这个答案- 中提供的scala代码的pyspark版本。
浏览 1提问于2019-09-04得票数 1
回答已采纳
3回答
我正在使用Spark 1.3，并希望使用python接口(SparkSQL)连接多个列。我首先将它们注册为临时表。Ref.registerTempTable("Ref")
我现在想基于多个列来加入它们
浏览 0提问于2015-11-17得票数 72
回答已采纳
2回答
假设有一个包含多个列的dataframe，它看起来像这样(我省略了不必要的列)：|path中的一些拼花文件，它只有一行，结构如下：|value ||some value |我如何读取这些文件并将一列(2020-05-14/bla2bla.parq|bla blah |
+----------------------------
浏览 3提问于2020-05-18得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
