我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Panda
浏览 14提问于2019-12-18得票数 1
回答已采纳
1回答
将列表列转换为嵌套结构列
、、、、
我正在尝试将一组丑陋的文本字符串转换为具有代表性的PySpark数据格式。最后一步是将包含字符串列表的列转换为包含嵌套行结构的列。对于列表中的每个字符串，我使用python字典理解将其规范化为相同的字段。
浏览 2提问于2018-10-20得票数 1
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何<
浏览 20提问于2021-04-11得票数 0
回答已采纳
我有一个两列的Dataframe。我想执行一个操作，将Dataframe列Col2转换为以下格式- Col1 | Col2002 |["This", "is", "the", "second", "
浏览 13提问于2021-06-22得票数 0
回答已采纳
1回答
我们需要将字符串数据从列转换为列表格式。我们有一个包含7列的csv格式文件，在这里我们需要更改类别列，并将数据保存到同一个csv文件中。2,3,651,2,3categories["2","4"][&qu
浏览 2提问于2020-09-10得票数 0
我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。我也不能使用.str.contains，因为即使包含数值的列是dtype object，在使用.str时它也会出错。(作为参考，我尝试做的是，如果数据帧中的列实际上具有字符串值，则执行
浏览 1提问于2020-06-23得票数 1
1回答
我有一个多列的pyspark dataframe，我需要将字符串类型转换为正确的类型，例如： 我现在就是这样做的 df = df.withColumn(col_name, col(col_name).(col_date, col(col_date).cast('date') \
.withColumn(col_code, col(col_code).cast('bigint') 有没有可能创建一个包含类型
浏览 11提问于2021-07-10得票数 3
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串<em
浏览 0提问于2021-02-09得票数 0
我有一个包含字符串数据类型的日期列，当在pyspark中推断时：如何将字符串数据类型转换为日期时间？
浏览 18提问于2022-10-25得票数 0
回答已采纳
我的dataframe中有一个字符串类型的列，值为'1 1 1 3‘。我需要用pyspark中的值的最大值来更新列。 我尝试过使用UDF将字符串转换为列表，然后再转换回字符串。有没有更简单的方法 示例数据：enter image description here下面的链接 蒂娅。
浏览 18提问于2021-10-08得票数 0
回答已采纳
我在pyspark有数据帧。它的一些数字列包含'nan‘，所以当我读取数据并检查dataframe的模式时，这些列将具有'string’类型。如何将它们更改为int类型。我将'nan‘值替换为0，并再次检查了架构，但同时也显示了这些列的字符串类型。=True, inferSchema="true")
data_df
浏览 2提问于2017-10-26得票数 64
我有一个包含22列的单元格数组。我希望读取单元格数组，并根据列2(以字符串格式的站点)将其分离为不同的.mat文件。基本上，这些数据包含了纽约各地网站一年来的信息。我希望分别保存每个站点的数据(找到具有相同列2的行并保存它们)。我还想将.mat文件转换为netcdf文件，这样不使用MATLAB的人也可以读取它，
浏览 1提问于2013-10-04得票数 0
回答已采纳
我有一个很大的pyspark数据帧。它有多个字符串类型的列。我正在将这些列转换为预期的数据类型。除了一个表示公司内部两个字符代码集的列之外，所有的代码看起来都很简单。我需要验证该列(在集合中)，如果它无效，则将其替换为null。以下是我到目前为止所做的工作：
myDfTyped = myDf.select(
浏览 0提问于2017-09-05得票数 0
我们使用旧数据库，它将整数值保存到varchar列。我们需要将这个列映射到Int32属性，如果数据库列中的数据是数字或NULL，它就能很好地工作。但是，如果列包含空字符串而不是null - nhibernate抛出不能将其转换为整数的错误，则会出现问题。
是否可以将类映射配置为自动将异常引发的所有值转换为某些默
浏览 2提问于2009-04-09得票数 1
回答已采纳
包含许多解析逻辑，用于检测CSV字符串并将其转换为数值和日期时间Pythong值。我的问题是，有没有办法也在包含字符串数据的列的DataFrame上调用相同的转换，但是DataFrame不是存储在CSV文件中，而是来自不同的(未解析的)源？因此，将这样的DataFrame保存到CSV文件<em
浏览 0提问于2019-06-11得票数 0
3回答
我希望从我的pyspark dataframe中的一列XML数据(字符串)中提取一个字符串。我希望为每个客户提取ProductName的价值。以下是数据的示例： A, <XmlData ProductName="123">....</XmlData>
我想将我的数据帧转换为包含一个
浏览 3提问于2020-06-18得票数 0
1回答
火花放电管道中的用户定义变压器
、、、、
我正在尝试创建一个pyspark管道来运行一个分类模型。我的数据集有一个列，它是一个字符串。因此，在应用管道模型之前，我使用“StringIndexer”将其转换为数字。我的管道只包含两个阶段StringIndexer和ClassificationModel
StringIndexer正在创建一个带有索引的新列，但是旧列也保留了。我想介绍一个新的变压器在管道中，以
浏览 0提问于2017-07-19得票数 2
回答已采纳
我试图使用Glue和pySpark在AWS上执行ETL工作，但不幸的是，我对此非常陌生。
在大多数情况下，我没有任何问题，使用胶水动态数据，以执行应用程序和一些其他的转换，我必须执行。但是，我面临一个特定列的问题，必须将其从字符串转换为整数数组。在这个列value中，我们将数据类型设置为string，它实际上是一个转换为string并由空格分隔的整数数组，例如，v
浏览 5提问于2020-04-20得票数 2
回答已采纳
2回答
在SO上有很好的记录(，，，.)如何通过类推将单个变量转换为string类型的PySpark：spark_df类型的列时，有几种方法可以实现它：微不足道的例子：
to_str = ['age', 'weight&#x
浏览 3提问于2018-05-16得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
