我有两个pyspark dfs df1有列- a，b，c，d，e，f df2有列- c，d，e(列名不断动态变化) 我想要一个从df1中提取的基于df2中的列名的df3数据帧。所以基本上我想 根据df2中的列从df1中选择列(df2列不断变化) 在上面的示例中，结果df应该具有列- c，d，e(从df1中提取)
浏览 11提问于2020-08-02得票数 0
回答已采纳
在链接中，用户可以在Spark3.2中的PySpark之上与熊猫合作。是否需要很长时间才能将PySpark数据帧转换为PySpark熊猫数据框架？我知道将PySpark数据帧转换为熊猫数据框架需要很长时间。
浏览 9提问于2022-03-02得票数 1
回答已采纳
1回答
pyspark mllib和pyspark ml包有什么区别？：
我发现的一个不同之处是，pyspark ml实现了pyspark.ml.tuning.CrossValidator，而pyspark我的理解是，如果在Apache框架上实现算法是mllib，那么库应该使用，但似乎存在分裂？
浏览 4提问于2017-04-05得票数 18
回答已采纳
1回答
我在X公司的分析小组工作。我们使用微软的Azure -数据砖。在这里，我们必须使用PysPark。比方说，在不同的块之后，我们有了一个最终的数据框架。我必须利用基于这个数据框架的可视化。我认为Python中的Seaborn库应该比Pyspark的任何库在数据可视化方面更有用。
浏览 1提问于2022-11-18得票数 0
回答已采纳
我已经使用以下代码创建了数据框： import pyspark spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A
浏览 12提问于2020-06-15得票数 0
我是PySpark的初学者，正在为我的问题寻找一个解决方案。实际上，我想按列名对列名进行排序。我的PySpark数据框架如下所示：| ID| a| b| c|| 0| 5| 2| 1|
| 1| 3|
浏览 5提问于2020-09-01得票数 0
回答已采纳
我有一个很大的pyspark数据框架。我想得到它的相关矩阵。我知道如何使用pandas data frame.But获取它，我的数据太大了，无法转换为pandas。所以我需要用pyspark数据框架得到结果。我搜索了其他类似的问题，答案对我不起作用。有人能帮我吗？谢谢!
数据示例：
浏览 20提问于2018-09-07得票数 11
回答已采纳
1回答
我有一个pyspark管道(包含估算和一个机器学习模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧？如果不可能，我如何有效地使用pyspark管道来生成对pandas数据帧的预测？
浏览 3提问于2021-09-13得票数 1
1回答
我是pyspark的新手，正在尝试重新创建我用python编写的代码。我正在尝试创建一个新的数据框架，其中包含旧数据框架中每60个观察值的平均值。下面是我用旧的python实现的代码：我正在为如何使用p
浏览 5提问于2018-08-29得票数 2
5回答
我有一个模式的数据框架(business_df)：|-- categories: array (nullable =string (nullable = true)|-- name: string (nullable = true)
我希望创建一个新的数据框架(new_df)，
浏览 10提问于2016-02-21得票数 9
回答已采纳
我正在尝试将Pyspark数据框架转换为一个熊猫数据框架。 process()
File "/usr/local/src/spark/python/lib/pyspark
浏览 3提问于2019-12-06得票数 0
1回答
将重复值转换为两个不同的列
、、、、
我将以下数据导入到PySpark数据框架中：from pyspark.sql.functions import *spark = SparkSession.builder.master("local[4]").appName("pyspark").getOr
浏览 10提问于2022-05-05得票数 1
回答已采纳
2回答
我有一个PySpark数据框架，它只包含一个元素。如何从数据帧中提取数字？
例如，如何从PySpark数据帧中获得数字5.0？
浏览 0提问于2022-07-13得票数 1
回答已采纳
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名<
浏览 15提问于2019-03-06得票数 0
回答已采纳
1回答
Spark SQL更新/删除
、、、、
目前，我正在做一个使用pySpark的项目，它读取一些Hive表，将它们存储为数据帧，并且我必须对它们执行一些更新/过滤。我正在不惜一切代价避免使用Spark语法来创建一个框架，该框架只接受参数文件中的SQL，该参数文件将使用我的pySpark框架运行。现在的问题是，我必须在我的最终数据帧上执行更新&
浏览 7提问于2019-11-15得票数 1
1回答
我面临许多问题，集成/添加Pandas现有代码的Pandas代码。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用的函数包含任何熊猫数据时，Pyspark转换(如map)似乎根本不起作用。我在Python中已有使用熊猫和numpy的代码，并且在一台机器上工作得很好。我最初试图将整个代码转换为的尝试失败了，因为不支持Pandas所做的许多操作。现在，
浏览 2提问于2017-12-26得票数 6
6回答
我有一个由100多个列组成的数据框架。我想要做的是，对于所有的列名，我想在列名的开头和列名的末尾添加回滴答(`)。column name is testing user.I want `testing user`
有没有一种方法可以在pyspark/python中做到这一点。当我们应用代码时，它应该返回一个数据帧。
浏览 3提问于2017-04-01得票数 18
回答已采纳
1回答
我们有一台unix机器，可以直接访问我们的s3桶。我们能够从unix机器上运行所有cli命令，比如"aws s3 ls“。现在，我们需要从那里读取一个文件，并使用pyspark创建一个星火数据框架。因此，现在需要对unix框进行ssh连接，并读取该文件并创建星火数据框架。
有没有人能帮助我们如何访问s3而不用使用pyspark访问关键细节。
浏览 2提问于2022-10-19得票数 0
2回答
我正在尝试运行下面的代码，以便在pyspark中创建图形框架，这是在我的本地设置的。但我错了。我使用的是火花-2.4.0-bin-hadoop2.7版本。from pyspark.sql import SparkSession#spark = SparkSession.builder.appName
浏览 1提问于2019-01-12得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
