1回答
我需要验证数据帧的每一列是否具有预期长度。我需要这是写使用python。
例如，下面是我的数据帧结构。我的验证标准是任何列的总长度不应超过3。
浏览 1提问于2019-02-25得票数 0
1回答
我正在尝试将新的记录时区添加到我的pysaprk数据帧中 from timezonefinder import TimezoneFinderdf = df.withColumnCannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when buildi
浏览 72提问于2021-04-14得票数 1
回答已采纳
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。return USD_amount
salesData['Sales (INR)']
浏览 15提问于2020-01-03得票数 1
回答已采纳
1回答
我将df作为一个pyspark.sql.dataframe.DataFrame导入到Databricks中。在这个df中，我有3列(我已经证实它们是字符串)，我希望将它们连接起来。df["fullname"] = df["firstname"] + df["middlename"] + df["lastname"]
但是我一直收到错误"'DataFrame‘对象不支持项分
浏览 1提问于2022-12-02得票数 0
3回答
正如web上的 中所提到的，向现有DataFrame添加新列并不简单。不幸的是，拥有这种功能是很重要的(尽管它在分布式环境中效率很低)，尤其是在尝试使用unionAll连接两个DataFrame时。将null列添加到DataFrame以简化unionAll的最优雅的解决方法是什么from pyspark.sql.types import StringType
from
浏览 0提问于2015-10-09得票数 63
回答已采纳
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。我尝试过以下几种方法，但都没有成功：还得到了一个错误，使用如下：
my_df_spark.withColumn("hours", sc.p
浏览 13提问于2015-11-12得票数 179
回答已采纳
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：df['newcol'] = F.concat(df['col_1'], df['col_2'])
结果：TypeError: 'DataFra
浏览 1提问于2016-07-28得票数 1
回答已采纳
2回答
添加带有随机数据的新列
、、、
我想要在dataframe中添加一个包含0或1的值的新列。from random import randint
但我得到了以下错误
/ withColumn /python/pyspark/sql/dataframe.py“，第1313行，在withColumn AssertionError( c
浏览 4提问于2017-01-04得票数 13
回答已采纳
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。我试图创建一个连接这两个表的函数，并创建一个
浏览 3提问于2021-12-11得票数 0
我对Pyspark还不熟悉，我正在尝试在我现有的dataframe中添加一个新的列。新列应该只包含4个固定值(例如1,2,3,4)，我想随机为每一行选择一个值。
我怎么能这么做？
浏览 2提问于2016-06-29得票数 1
回答已采纳
我有一个dataframe，它在一个列中存储一个JSON对象。我希望处理JSON对象来创建一个新的dataframe (列的数目和类型不同，每行将从JSON对象生成n个新行)。我在下面编写了这样的逻辑:在迭代原始数据集时，将字典(行)附加到列表中。for item in row.json_object['obj']:
# create a dictionary to represent each r
浏览 4提问于2022-10-19得票数 1
回答已采纳
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。test = customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))有没有办法向现有的dataframe添加一个新的列(不复制dataframe)？我们只有一个选择
浏览 4提问于2021-01-26得票数 0
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_valuefrom pyspark.sql import f
浏览 12提问于2015-03-17得票数 95
回答已采纳
我在PySpark中有两个数据帧，如下所示： Dataframe A:总共1000条记录 +-----++-----+| b|+-----+Dataframe B:共3条记录 +-----++-----+|06901|+-----+ 我需要在Dataframe A中添加一个名为Zip的新列，并使用从Datafram
浏览 12提问于2021-02-10得票数 2
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列sqlContext = SQLContext(sc)
#add list to column exist dataframe向列dataframe
浏览 0提问于2020-10-05得票数 1
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：from pyspark.sql.functions import*在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functionsemp.em
浏览 0提问于2018-12-06得票数 2
回答已采纳
我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。问题是，数据是巨大的，因此这种方法是不可扩展的。让我花时间的是toPandas()命令。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
有人能建议我如何在pyspark dataframe中添加多个空列吗？目前我正在做这样的事情，但它不起作用： for col in column_list: return dataframe
在</
浏览 1提问于2018-09-14得票数 0
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。, 'ConformedLeaseRecoveryTypeName', '
浏览 2提问于2020-05-12得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
