Auto202012101237.TXT")data2 = data21.filter(~col("_c0").contains(header2)) 这会产生一个只有_c0列的好文件因此，欧洲版本的列从_c0到_c980 (或者更少，取决于型号)。我正在寻找一种方法来将这个data2分成多个列，用.split找到了几个解决方案，其中大部分是硬编码的，从pos1-5= field1，6-xx = field2。我想找到一个指令，它遍历整个行并创建到_cXX
浏览 13提问于2021-01-21得票数 0
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrameO: pyspark.rdd.PipelinedRDD万分感谢
浏览 0提问于2016-06-22得票数 0
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
我想在我的星火DataFrame上动态地应用. list中的列名。from pyspark.sql.functions import col return [x for x in dataframe.columns if get_dtype(dataframe,x)=='tinyi
浏览 3提问于2020-04-21得票数 1
回答已采纳
1回答
如何通过逗号将字符串列拆分为具有应用模式的新数据帧？作为示例，下面是一个包含两列(id和value)的pyspark DataFrame df = sc.parallelize([(1, "200,201,hello"), (2, "23,24,hi")]).toDF(["id", "value"]) 我希望获取value列并将其拆分到一个新的DataFrame中，并应用以下模式： from
浏览 18提问于2021-11-10得票数 1
如果我尝试将文件读取为CSV，那么JSON对象将在其他列中重叠。Test_File.pyfrom pyspark
浏览 2提问于2020-09-23得票数 1
我只有一列的dataframe。我想使用pyspark中的pandas_udf拆分字符串。因此，我有以下代码： from pyspark.sql.functions import pandas_udf, PandasUDFType
def split_msg
浏览 17提问于2019-10-03得票数 0
回答已采纳
假设我对这个列进行了排序，我想将它分成两列，其中第一列只包含每个第一个元素。第二列包含每二个元素。这个是可能的吗？如果我有[[1,11], [2,22], [3,33]]，那么我想把它分成[1,2,3]和[11,22,33]
我在api列中查找，但什么也找不到。它实际上不是一个结构，我将列表元组转换为DF。
浏览 7提问于2022-11-17得票数 0
1回答
动态地在多个列上操作
、、、
在pyspark中，假设我有名为'a1','a2','a3'...'a99'的列的dataframe，如何对每个列应用操作来动态创建具有新名称的新列？例如，获取新列(如sum('a1') as 'total_a1' , ... sum('a99') as 'total_a99' )。
浏览 0提问于2019-02-28得票数 1
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
4回答
上下文：I有一个包含2列的DataFrame：word和vector。其中，“向量”的列类型为VectorUDT。问题：提前感谢
浏览 10提问于2016-07-14得票数 68
回答已采纳
1回答
我正试图将密集向量转换为dataframe (最好是星火)，并附带列名并遇到问题。
我在中的列是使用创建的一个向量，现在我想将它转换回一个dataframe，因为我想在向量中的一些变量上创建图。转换为Pandas dataframe，之后我无法将值拆分为不同的列。，但是我的dataframe中仍然只有一个列，所有的值都用逗号分隔为一个列表。它只有一列all_features。我正在尝试创建一个将所有这些值分割成单独列
浏览 0提问于2018-09-27得票数 3
回答已采纳
3回答
1581534117303\"}", "LastUpdatedBy": "System"使用aws glue，我想要将"Properties“列关联起来将其转换为struct，可能会基于阅读此博客-
<bound method DataFrame.show of DataFrame[Id: string, LastUpda
浏览 2提问于2020-02-19得票数 2
2回答
我能够通过persons.toDF()将动态数据转换为触发数据。我想把火花数据再一次转换回pyspark.I中的dataframe，我想将我的列转换为Time戳，然后再将它转换为dataframe到resolveChoices。请帮帮我
浏览 2提问于2019-09-24得票数 2
我在dataframe中有一个列，它的字符串值如下"Software part not present"nullnull null
null
浏览 5提问于2022-09-30得票数 0
1回答
Input_pyspark_dataframe:111777 454output_pyspark_dataframe333 ccc 1 300
444 ddd
浏览 0提问于2020-08-20得票数 0
1回答
我试图使用PySpark注释将一个发行版安装到整个pandas_udf列中。from pyspark.sql import Rowimport numpy as nprdd = sc.parallelize(l)
rdd2
浏览 0提问于2018-02-15得票数 0
回答已采纳
1回答
我有下面的pyspark dataframe列。weekly_trend_navigatorday_of_month_trend_notifierunique_notifier
我必须拆分上面的列
浏览 2提问于2021-10-28得票数 0
回答已采纳
2回答
_c2, a3_b3_c3] [aaa2_bbb2_ccc1, aaa2_bbb2_cc2, aaa3_bbb3] 现在我想拆分元素
浏览 66提问于2021-07-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
