2回答
seconddf-column3':5}, \现在我想通过多个列(大于1的任何数字)来连接它们
我拥有的是第一个DataFrame的列的数组和第二个DataFrame的列的数组，这些数组具有相同的大小，我希望通过这些
浏览 15提问于2016-09-21得票数 8
回答已采纳
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
1回答
动态填充中的列名
、、、
我正在开发一个动态脚本，它可以join任何给定的pyspark。问题是文件中的列名会发生变化&连接条件的数目可能会有所不同。我可以在一个循环中处理这个问题，但是我使用一个变量名执行连接，它失败了。(我的目的是根据文件结构和联接条件动态填充a和b或更多列)a="existingFile.Id"
unChangedRecords = existingFile.join(incrementalFi
浏览 2提问于2018-02-24得票数 0
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：TypeError: 'DataFrame' object does n
浏览 1提问于2016-07-28得票数 1
回答已采纳
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。coocc = psdf.T.dot(psdf)我得到了这个错误我查过医生了。pyspark.pandas.DataFrame.dot()
以串联作为输入。我尝试使用psdf.squeeze()将dataframe转换为
浏览 8提问于2022-10-14得票数 0
回答已采纳
我想在我的星火DataFrame上动态地应用. list中的列名。from pyspark.sql.functions import col return [x for x in dataframe.columns if get_dtype(dataframe,x)=='tinyi
浏览 3提问于2020-04-21得票数 1
回答已采纳
我想将多个PySpark数据帧合并到一个PySpark数据帧中。它们都来自相同的模式，但是它们可能会有所不同，因为有时会缺少一些列(例如，模式通常包含200个具有已定义数据类型的列，其中dataFrame A有120列，dataFrame B有60列)。
浏览 2提问于2020-06-22得票数 0
1回答
有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper): # return something
我对最后一段感兴趣，其中通过赋值语句将方法添加到pyspar
浏览 6提问于2020-07-09得票数 1
2回答
假设有一个包含多个列的dataframe，它看起来像这样(我省略了不必要的列)：|path中的一些拼花文件，它只有一行，结构如下：|value ||some value |我如何读取这些文件并将一列(2020-05-14/bla2bla.parq|bla blah |
+-------------------
浏览 3提问于2020-05-18得票数 1
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。我试图创建一个连接这两个表的函数，并创建一个新列，如果两个数据文件中存
浏览 3提问于2021-12-11得票数 0
1回答
在pandas中，Pyspark中特定列连接由以下代码执行： datamonthly=datamonthly.merge(df[['application_type','msisdn','periodloan']],how='left',on='msisdn') 我使用Pyspark尝试了类似的逻辑 datamonthly = datamonthly.join(datalabel
,applicati
浏览 13提问于2021-08-30得票数 1
回答已采纳
1回答
如何计算pyspark中多个列的方差？例如，如果pyspark.sql.dataframe表是：1 12 15 73 56 25 251 12 15 7 10.93 56 25 25 213.6pyspark中有一个方差函数，但它只能按列</
浏览 1提问于2017-04-28得票数 1
1回答
动态地在多个列上操作
、、、
在pyspark中，假设我有名为'a1','a2','a3'...'a99'的列的dataframe，如何对每个列应用操作来动态创建具有新名称的新列？例如，获取新列(如sum('a1') as 'total_a1' , ... sum('a99') as 'total_a99' )。
浏览 0提问于2019-02-28得票数 1
我发现PySpark有一个名为drop的方法，但它似乎一次只能删除一列。关于如何同时删除多个列有什么想法吗？selectedMachineView = machineView.drop([['GpuName','GPU1_TwoPartHwID']])
/usr/hdp/current/spark-client/python/pyspark/sql/dataframe.pyc in d
浏览 1提问于2016-02-28得票数 42
回答已采纳
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrameO: pyspark.rdd.PipelinedRDD万分感谢
浏览 0提问于2016-06-22得票数 0
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col|| 1|[a, b, c,d]|
pyspark> df.printSchema(
浏览 29提问于2020-01-24得票数 0
回答已采纳
Auto202012101237.TXT")data2 = data21.filter(~col("_c0").contains(header2)) 这会产生一个只有_c0列的好文件因此，欧洲版本的列从_c0到_c980 (或者更少，取决于型号)。我正在寻找一种方法来将这个data2分成多个列，用.split找到了几个解决方案，其中大部分是硬编码的，从pos1-5= field1，6-xx = field2。我想找到一个指令，它遍历整个
浏览 13提问于2021-01-21得票数 0
1回答
有一个名为DFF的Pandas Dataframe，如下所示：SalesOrder SOItem SLNo names=['SalesOrder', 'SOItem', 'SLNo'])
还有另一个名为SDD的Pandas Dataframe我在Pyspark中获得了这两个数据格式，
浏览 12提问于2022-11-30得票数 -3
我有一个pyspark Dataframe，我想加入3列。------------------------------------------------------预期结果：
id | column_1 | column_2 | column_3 | column_join
浏览 0提问于2019-11-25得票数 6
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
