我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark <e
浏览 3提问于2021-12-11得票数 0
注意:我有20列和数百万行。| 6| G| W| 7|+-----+-----+-----+---------+ 我想在spark dataframe中创建列unique_ID (如上面的结果所示)，如果val_1和val_2与df_b匹配，则基于df_a创建一个unqiue_ID。
浏览 16提问于2021-01-09得票数 0
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果test.show()
有没有办法
浏览 4提问于2021-01-26得票数 0
3回答
如果有这样的数据文件：'ID': ['1', '4', '4', '3', '3', '3'],
'club': ['arts', 'math', 'theatre', 'poetry', 'dance', 'c
浏览 2提问于2022-05-18得票数 0
回答已采纳
1回答
我使用pySpark读取和计算数据的统计数据。dataframe看起来像：www.google.com我正在向dataframe中添加一个新的timePeriod列，在添加它之后，我想使用
浏览 0提问于2017-03-18得票数 3
回答已采纳
如何创建一个函数来检查一个数据文件的PySpark列中的一行是否与另一个Pysark dataframe的同一列中的另一行匹配？我想创建一个新列，如果记录中的该值存在于另一个dataframe中<
浏览 5提问于2021-12-11得票数 1
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需
浏览 12提问于2015-03-17得票数 95
回答已采纳
2回答
你好，我有一个PySpark dataframe。因此，我想从具有特殊条件的不同行中添加两列。其中一列是日期类型。以下是数据的示例：| flag| date | diff |from pyspark.sql.functions import expr
datafra
浏览 0提问于2019-02-19得票数 0
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新<
浏览 0提问于2021-02-09得票数 0
如果我已经存在数据帧，且我想要向数据框中添加新列sqlContext = SQLContext(sc)
#add list to column exist da
浏览 0提问于2020-10-05得票数 1
我有一个大数据与天气列，可以采取5个不同的数值(晴天，多云，雨，雪和其他)。我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。要么使用另一个具有天气列(此列上的join )和一个"ne
浏览 2提问于2021-05-26得票数 2
回答已采纳
我有两个希望连接的PySpark DataFrame对象。其中一个DataFrames df_a有一个使用pyspark.sql.functions.monotonically_increasing_id()派生的列unique_id。另一个DataFrame，df_b没有。我希望将df_b的行附加到df_a，但我需要为unique_id列生成与df_a.unique_id中<em
浏览 3提问于2022-09-08得票数 0
回答已采纳
1回答
有一个名为DFF的Pandas Dataframe，如下所示：SalesOrder SOItem SLNo 4501034 20 1 ZH ('4501034', '20', 1)],
names=['SalesOrder', 'SOItem
浏览 12提问于2022-11-30得票数 -3
我正在尝试向数据帧中添加一个新列。首先，我想检查每一行的id是否存在于另一个数据帧中。如果是，那么我想用来自另一个数据帧的值填充我的行条目。例如，我想要查找的数据帧如下所示： id replays1 5 13
浏览 11提问于2020-12-18得票数 0
回答已采纳
1回答
我希望有选择地将数据从一个数据(A)集成到另一个数据(B)中。条件如下:数据帧共享两列(miRNA & Gene)。Dataframe还包含具有对值的列。我希望在dataframe中创建一个新列，该列从A中的Value列中获取，并包
浏览 6提问于2015-05-04得票数 3
回答已采纳
1回答
因此，我现在有以下DataFrame，其值如下：+-------+--------++-------+--------++-------+--------+
其中时间没有值(或为空)。如何向TIME列添加值？稍后，我将在我的程序中添加更多
浏览 5提问于2017-06-26得票数 0
回答已采纳
我使用vb.net将数据添加到内置的sql server中的表中。我无法向多列表中添加数据。我可以向单列表中添加数据，但如果向表中添加更多列，然后将关联的文本框添加到表单中，则<
浏览 1提问于2014-06-03得票数 1
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是
浏览 2提问于2020-05-12得票数 1
回答已采纳
我有两个dataframes A和B，.I希望在dataframes中创建一个新的列'suggested_Vendor‘，其中包含基于某些检查的数据A的对应映射：
添加来自dataframe的第一个“suggested_Vendor”，与dataframe水果值和dataframe 'preferred_fr
浏览 1提问于2021-08-06得票数 0
我有两个数据帧：| |13 |+-----------+----------------+--------------+
我想做的是根据Placement ID在dataframe 2中添加一个额外的列，其
浏览 0提问于2016-11-09得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
