Pyspark -在循环内更新数据帧

文章/答案/技术大牛

发布

1回答

python、apache-spark、dataframe、pyspark

我写了一些代码来更新for循环中的dataframe，但我得到了奇怪的结果： def _simulate_walks(self): aprox_sample_rate.selectExpr('LAST_NODE', 'CHOSEN_NODE', 'NEW_PATH as PATH') chosen_path.show(5, False) 但是，当我在循环中添加我知道在</em

浏览 18提问于2019-01-24得票数 2

1回答

Pyspark使用窗口函数和我自己的函数

python、pandas、pyspark、window

我希望用pyspark和spark dataframe做同样的事情。我知道我必须使用窗口函数，但它比熊猫更难理解，所以我迷路了…… 我有这个，但我不知道如何让它工作。

浏览 29提问于2020-06-26得票数 0

回答已采纳

1回答

如何在循环中创建一个pyspark* DataFrame？*

pyspark、pyspark-dataframes

如何在循环中创建一个pyspark DataFrame？在这个循环中，在每次迭代中，我输出2个值print(a1,a2)。现在，我想将所有这些值存储在一个pyspark数据帧中。

浏览 26提问于2021-01-12得票数 0

1回答

如何在for循环中附加pyspark数据帧？

dataframe、apache-spark、pyspark、pyspark-dataframes

示例:我有一个pyspark dataframe： x_data y_data 3.5 8.5 5.5 20.5 41 23 58 30 y_data 如何将每列计算的结果附加到for循环内的相同p

浏览 13提问于2021-02-18得票数 0

回答已采纳

2回答

我们是否可以动态检索pyspark* dataframe中更新列的前一行的值*

python、dataframe、pyspark

我已经在下面提到了数据帧。所以我的最终数据帧应该是：| START | END || 1 | 5 || 8 | 11 || 17 | 22 |您可以考虑初始数据帧是按其START列排序的当我们使用循环时，这是一个简单的问题，但

浏览 19提问于2020-02-07得票数 1

1回答

如何使用pyspark合并来自两个不同数据帧的数据？

python、dataframe、apache-spark、pyspark、amazon-emr

我有两个不同的(非常大的)数据帧(详细信息如下)。我需要合并他们两个人的数据。由于这些数据帧非常庞大(第一个数据帧有数百万行，第二个数据帧有数千行)，我尝试使用AWS EMR服务。但我不太明白它是如何在那里完成的，我看到的教程大多只显示了一个数据帧的说明。所以，我一直想知道如何使用pyspark来处理两个不同的数据帧。以下是详细信息：第一个<e

浏览 11提问于2021-06-03得票数 0

回答已采纳

1回答

Spark SQL更新/删除

apache-spark、pyspark、apache-spark-sql、pyspark-sql、pyspark-dataframes

目前，我正在做一个使用pySpark的项目，它读取一些Hive表，将它们存储为数据帧，并且我必须对它们执行一些更新/过滤。我正在不惜一切代价避免使用Spark语法来创建一个框架，该框架只接受参数文件中的SQL，该参数文件将使用我的pySpark框架运行。现在的问题是，我必须在我的最终数据帧上执行更新/删除查询，是否有任何可能的工作来在我的数据帧上执行这些操作？非常感谢!

浏览 7提问于2019-11-15得票数 1

1回答

将100k行pyspark* df转换为pandas df*

python、pandas、pyspark

我有一个100k行的pyspark df。我用的是spark df = pandas_df.toPandas() 这需要花费大量时间来执行此语法。有没有其他方法可以在几秒钟内完成这个操作？另外，要将pyspark数据帧保存为.csv格式，需要花费大量时间。为甚麽会这样呢？

浏览 32提问于2020-07-29得票数 1

1回答

如何使用Pyspark/SQL/DataFrames SPARK RDD来插入/删除DB2源表数据？

pyspark、apache-spark-sql、spark-streaming、pyspark-sql

我尝试运行upsert/delete命令来插入/删除DB2数据库源表中的一些值，这是DB2上的一个现有表。是否可以使用Pyspark/Spark SQL/Dataframes。

浏览 2提问于2019-05-10得票数 0

1回答

在Databricks中使用Pyspark更新数据库表

python、pandas、pyspark、databricks

我在Azure SQL Server数据库中有一个表，该表是从我的Dataframe填充的。我想使用pyspark / pandas基于多条件数据库来更新这个表。我是PySpark / Databricks / Pandas的新手，有人能告诉我如何更新表吗？我已经将数据插入到表中-我可以想到的一种解决方案是将表中的数据加载到数据帧中，然后将新文件合并到相同的数据

浏览 2提问于2020-04-20得票数 0

2回答

迭代和计算列的更有效的方法

apache-spark、pyspark

我有一个非常宽的数据帧> 10,000列，我需要计算每个列中空值的百分比。

浏览 0提问于2017-09-24得票数 1

1回答

火花驱动程序意外停止，并且正在重新启动。

python、apache-spark、pyspark、databricks、azure-databricks

我在databricks上使用pyspark，并试图使用 over 循环迭代一个小的dataframe (50行)，直到数据some计数为0，并在循环中执行一些基本操作(筛选、排序、获取第一行和更新某些列)，然后在15次迭代后得到以下错误火花驱动程序意外停止并正在重新启动.我没有使用toPandas()或collect()，我没有使用很多对象(循环中只有3个数据，每次迭代都更新它们)，我运行笔记本，集群上没有运行其

浏览 3提问于2022-05-11得票数 2

回答已采纳

2回答

将PySpark数据帧转换为PySpark.pandas数据帧

python-3.x、apache-spark、pyspark

在链接中，用户可以在Spark3.2中的PySpark之上与熊猫合作。是否需要很长时间才能将PySpark数据帧转换为PySpark熊猫数据框架？我知道将PySpark数据帧转换为熊猫数据框架需要很长时间。

浏览 9提问于2022-03-02得票数 1

回答已采纳

1回答

如何将Azure Synapse Dataframe转换为JSON on Databricks？

azure、pyspark、databricks、azure-databricks、azure-synapse

我是否可以将Azure Synapse Dataframe转换为JSON？因为当我尝试的时候，它得到了一个错误。我使用脚本作为Pandas DataFrame函数df.to_json()，因为我假设Azure Synapse DataFrame与Pandas Dataframe相同。class UtilAzSynapse(UtilAzSynapse): def write_to_synapse(df, table, write_mode, url, tempDir):

浏览 19提问于2021-05-31得票数 0

回答已采纳

2回答

PySpark列向绑定

pyspark

在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？我需要在PySpark中同时绑定数据帧和作为一个数据帧。

浏览 1提问于2017-08-30得票数 3

1回答

如何使用PySpark更新hive表中的记录？

hive、pyspark-sql

我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。例如：加5 Add 30 32000 应用程序可以通过剥离Action列并附加到表中，将新数据读入第二个<e

浏览 1提问于2019-03-29得票数 2

1回答

用map并行化for循环，用pyspark并行化reduce

python、apache-spark、pyspark

在我的应用程序中，我从S3上不同位置的数据创建不同的数据帧，然后尝试将这些数据帧合并为单个数据帧。现在，我正在使用一个for循环。但我有一种感觉，使用pyspark中的map和reduce函数可以更有效地完成这项工作。下面是我的代码：from pyspark.sql import SQLCon

浏览 0提问于2016-08-24得票数 3

1回答

Pyspark 'for‘循环没有使用.filter()正确过滤pyspark-sql数据帧。

python、apache-spark、for-loop、pyspark、apache-spark-sql

我正在尝试创建一个for循环，首先:过滤一个pyspark sql数据帧，然后将过滤后的数据帧转换为pandas，对其应用一个函数，并将结果添加到一个名为results的列表中。我的列表包含一个字符串序列(这将是dataframe中的某种id )；我希望for循环在每次迭代中从列表中获取一个字符串，并过滤dataframe中id为该字符串的所有行。aux = df.filter("id='x'") fi

浏览 21提问于2020-12-16得票数 1

回答已采纳

2回答

无法将StructField与PySpark一起使用

python、apache-spark、pyspark

我正在运行PySpark外壳，无法创建数据帧。我已经做了from pyspark.sql.types import StructField并不断收到错误:未定义` name 'StructField‘奇怪的是，如果我删除for循环并这样做

浏览 0提问于2016-12-30得票数 3

1回答

使用pyspark基于日期列拆分零件文件

python、pyspark

我还想使用pyspark根据date列拆分csv文件。我想知道这样做的有效方法，因为csv将包含数百万行。我目前的方法是-将2012年的所有csv文件读取到一个数据帧中-然后在365天内循环上述数据帧，然后按日期将内容写入csv。> 1234|2012-01-01|abc|def|455 > 1278|2012-04-05|duuj|dea|4

浏览 0提问于2018-03-28得票数 1

点击加载更多