如何根据dataframe中的列动态生成for循环？

文章/答案/技术大牛

发布

1回答

python、python-3.x、pandas

我尝试根据数据帧中的列数动态生成一个for循环。例如，如果我在dataframe中的列是5，那么我生成For循环并相应地分配变量。], df_cols[4]: row['ENDED_DATE'], }) df_cols和行值应

浏览 28提问于2019-09-27得票数 1

回答已采纳

1回答

Pyspark:为具有可变列数的when()子句动态生成条件

pyspark

我有一个函数，我向它传递了一个dataframe和listofcolumns，它们不应该包含空值。如果“listofcolumn”中的任何列都有空值，我就需要采取一个操作。现在，我必须在这里使用when子句，但是传递给when子句的列将根据传递的dataframe和passed列而有所不同。因此，我希望能够使用传递的列动态生成when子句。whe

浏览 8提问于2020-05-17得票数 0

回答已采纳

1回答

Scala火花:动态拆分dataframe列

scala、apache-spark

我已经将一个文本文件读取到一个dataframe中，并成功地将单个列拆分为列(实质上该文件是以空格分隔的csv)。val irisDF:DataFrame = spark.read.csv("src/test/resources/iris-in.txt") val dfnew:DataFrame = irisDF.withColumn("_tmp", split

浏览 8提问于2017-08-30得票数 1

回答已采纳

2回答

如何根据列名提取列？

r、dataframe、parsing、select

我有一个数据帧dfa 1 1 2 5c 3 3 3 3df[,"m"][1] m 如何根据geni,1提取列</e

浏览 1提问于2020-06-10得票数 1

回答已采纳

2回答

为熊猫添加新行

python、pandas、dataframe

在psuedo代码中，我做了这样的事情：for headers in df.columns.values.tolist() #generate field with name header当我循环遍历这些值时，我会将它们

浏览 8提问于2021-07-15得票数 0

回答已采纳

1回答

将DataFrame转换为RDD，并将RDD动态拆分为与DataFrame相同的列数。

scala、dataframe、apache-spark、rdd

我试图将DataFrame转换为RDD，并根据DataFrame中的列数动态而优雅地将它们拆分为特定的列数。也就是说，这是hive employee中表中的一个示例数据123 Bob 34 Texas Dallas 456 Stan 26= spark.sql("Select * from employee"

浏览 1提问于2021-07-31得票数 2

2回答

具有动态列名的pd.eval

python、python-3.x、pandas、dataframe、eval

我在一个循环中的数据帧中生成新列，其中列名是在每个循环中动态设置的，如果可能的话，我想使用DataFrame.eval()。readFromColName.mean() - @readFromColName') 但是这给了我这个错误： AttributeError: 'Load' object has no attribute '__name__' 有人知道如何在Datafra

浏览 35提问于2020-07-02得票数 1

3回答

如何基于模式动态生成数据集？

scala、apache-spark、apache-spark-sql

我有多个模式，如下所示，具有不同的列名和数据类型。我希望为每个模式使用DataFrame和Scala生成测试/模拟数据，并将其保存到parquet文件中。下面是示例模式(来自示例json)，用于动态生成包含虚拟值的数据。StringType, true) StructField("pp", StringType, true))

浏览 0提问于2018-11-30得票数 13

回答已采纳

2回答

从一个创建多个数据文件

python、python-3.x、pandas、dataframe

我有这样的数据：Alex 135 10 3 5Lee 136 2 6 4 我希望根据每个会话生成多个数据格式。例如，我想使dataframe具有name、time和session1。dataframe 2有name、time和session2。dataframe 3有nam

浏览 0提问于2018-09-20得票数 1

回答已采纳

1回答

在熊猫中使用函数时按其位置选择列

python-3.x、pandas

我的数据看起来像这样 'week1_values':[0,0,13,39,64],我试图应用一个函数来计算每周两列(“week1_values”和“week2_values”)之间的周差，的名称是<

浏览 1提问于2022-01-25得票数 1

回答已采纳

3回答

在for循环中追加数组

python、pandas、numpy

我有一个1000行1000列的dataframe。我试图使用for循环从该数据帧生成一个numpy数组，我使用for循环随机选择每个周期的5列。我需要追加或连接我生成的每个数组(1000行和5列)。我尝试了以下代码：import pandas as pd df = pd.DataFrame(np.random.choice([0.0, 0

浏览 1提问于2019-04-07得票数 3

回答已采纳

1回答

按分类列展开pandas数据帧

python、pandas、dataframe、expansion

我试图通过在一个分类列中创建更多特定于某个值的列来扩展dataframe。我的数据帧如下所示： ? 基于列cluster的值，我想创建一个新的数据帧，它应该如下所示： var1_clus0 , var1_clus1, ... var3_clus2 我有一个巨大的数据集，所以我试图在一个嵌套的for循环中做到这一点，这个循环可以很好地处理聚集列</em

浏览 14提问于2019-02-20得票数 0

2回答

根据条件火花选择列

pyspark

我的dataframe df1中有这样的列，其中以20开头的列是动态生成的。df.select(*[col(c).alias(f"${c}_p") if c.startswith("20") elsecol(c) for c in df.column

浏览 7提问于2022-10-31得票数 0

回答已采纳

1回答

Spark :基于s3文件中的字段动态生成查询

scala、apache-spark、apache-spark-sql

基于s3中的这些数据，我们将数据加载到一个表中，并且我们手动地(在每次运行中字段的数目可能会随着添加或删除几个列而改变)运行一个metrics.There，因为很少的metrics.There会对这些数据进行更多的计算中读取数据，并根据字段动态生成SQL。查询:如何在scala/spark/dataframe中</em

浏览 7提问于2020-03-19得票数 1

1回答

动态添加不同长度的列，同时循环遍历空熊猫的ncols =len(列)的数据

python、pandas

使用for循环，我尝试将不同长度的列附加到预初始化的空数据empty中。在每次迭代中，我必须对数据进行斗争才能返回我想要的输出，但是我想要的输出的长度都是不同的。我希望保存所有存在的数据(这意味着，长度较短的列将被填充nan值，以匹配长度最长的列)。但是，我意识到，由第一个迭代器返回的第一列

浏览 0提问于2019-08-19得票数 0

回答已采纳

1回答

对动态生成的DataFrames列进行排序

python、python-3.x、pandas

我有一个与此类似的数据 'age':[15,34,22],w-1(6)':[96,66,74], 'w-3(4)':[11,66,44]}) 注意，在我最初的DataFrame</

浏览 4提问于2022-02-17得票数 1

2回答

从PySpark DataFrame列中删除元素

pyspark

我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3] 上面是一个玩具例子，因为我的实际DataF

浏览 9提问于2017-01-12得票数 1

回答已采纳

3回答

在python pandas中，如何在一个csv文件中并排堆叠(每次迭代)列中的数据帧？

python、pandas

如果我可以在for循环中每次迭代生成两列数据，并且我想将其保存在csv文件中，那么如果在下一次迭代中我将生成两列数据将并排堆叠在同一个csv文件中(没有覆盖)，该如何做？下一次迭代也是如此。我已经搜索了pandas.DataFrame(mode='a')，但它只垂直地(按行)追加列。我研究过连接pd.concat，然而，我不知道如何在超过两个dataframes

浏览 50提问于2016-07-20得票数 1

1回答

基于准则的单列数据分析

python、pandas、dataframe

我有一个有十列和一千多行数据的Dataframe。我正在循环遍历每一个标题，并计算两个标题之间的差异。这将产生一个数据帧，即一个列和N行。然后，我想根据某些标准进行统计。比如给我一组大于零的数据的统计数据。所以样本就像这样。df[SecondHeader] print (df(TempDF[]>0).describe()) 这会

浏览 1提问于2015-08-04得票数 2

回答已采纳

2回答

从值列表中向Dataframe添加列

从一个空的dataframe开始，我需要按如下方式填充该dataframe :一个for循环在每次迭代中生成固定数量的值，我需要使用该列表中的值添加一个新列，并为该列提供一个唯一的名称col_i (其中i是循环的第i次迭代)。如何完成这项(看似简单的任务)？

浏览 2提问于2012-06-21得票数 1

回答已采纳

点击加载更多