如何使用雪花和python从Pandas数据帧创建Spark数据帧？

文章/答案/技术大牛

发布

1回答

pandas、dataframe、apache-spark、pyspark、snowflake-cloud-data-platform

我有一个sql，它是存储在python中的一个变量中，我们使用SnowFlake数据库。首先，我已经转换成熊猫数据帧使用sql，但我需要转换成火花数据帧，然后存储在一个CreateorReplaceTempView。我试过了： import sf_connectivity (we have a code for establishing connectionpd.read_sql

浏览 5提问于2020-06-04得票数 0

3回答

pyspark to hive中的Pandas数据帧

python-2.7、pandas、hive、pyspark

如何将熊猫数据帧发送到hive表？我知道如果我有一个spark数据帧，我可以将它注册到一个临时表中，使用sqlContext.sql("create table table_name2as select * from table_name") 但是当我尝试对registerTempTable使用pandas dataFram

浏览 0提问于2016-04-28得票数 9

回答已采纳

1回答

Pandas版本0.22.0 - drop_duplicates()获得意外的关键字参数'keep‘

python、pandas、python-2.7、dataframe

我正在尝试使用子集(drop_duplicates=‘’，keep=False)在我的数据帧中删除重复项。Traceback (most recent call last): File "/home/source/fork/PySpark_Analytics/Notebooks/Krish/beryllium_pandas.pydffsameflname.drop_duplicates(subset=['INDIVIDUAL_LA

浏览 110提问于2019-06-20得票数 1

1回答

Spark中的用户定义函数(UDF)是否在集群工作节点上并行运行？

apache-spark、user-defined-functions

假设我在python中创建了一个函数，所以将一个数字求幂为2： def squared(s):%sql sele

浏览 33提问于2019-10-10得票数 0

回答已采纳

1回答

Pandas dataframe to Spark dataframe“无法合并类型错误”

pandas、apache-spark、dataframe、pyspark、apache-spark-sql

我有csv数据，并使用read_csv创建了Pandas dataframe，并强制所有列为字符串。然后，当我尝试从Pandas数据帧创建Spark数据帧时，我得到了下面的错误消息。_createFromLocal(data, schema) File "/usr/hdp/2.4.2.0-258/spark&#x

浏览 6提问于2016-08-06得票数 33

回答已采纳

1回答

如何将spark dataframe中的String类型列转换为Pandas dataframe中的String类型列

pandas、apache-spark、pyspark

我有一个从熊猫数据帧创建的样本spark数据帧-from\ .appName("Python Spark SQL basic example") \ .config("spark.some.conf

浏览 3提问于2020-09-09得票数 0

2回答

pyspark dataframe to dictionary:列作为键和列值列表

python、pyspark

您好，我需要将pyspark dataframe (或rdd)转换为字典，其中dataframe的列将是关键字，column_value_list将作为字典值。a 10a 30c 50new_dict = {'name':['a','b', 'a', 'b', 'c'], 'amt':[10,20,30,40,50]}我也在

浏览 4提问于2017-04-28得票数 1

1回答

使用Pyspark与python解释器、pandas和Ipython notebook集成Spark SQL

python-3.x、pandas、matplotlib、pyspark、apache-spark-sql

我想知道哪个解释器适合Python使用Numpy、pandas和matplotlib等集成了Ipython笔记本的特性。我还想把这个和Apache Spark集成在一起。有可能吗？我的目标是我需要从不同的源加载不同的表，比如Oracle，MS和HDFS文件，并需要使用Pyspark，SparkSQL来转换它们。然后我想使用pandas/matplolib进行操作和可视化。

浏览 0提问于2017-02-08得票数 0

1回答

在Python语言中从Spark DataFrame创建labeledPoints

python、pandas、apache-spark、apache-spark-mllib、apache-spark-ml

我应该使用python中的哪个.map()函数从spark数据帧创建一组labeledPoints？如果标签/结果不是第一列，但我可以引用它的列名'status‘，那么表示法是什么？我使用这个.map()函数创建Python dataframe： listmp = list(line.split('\t')) data

浏览 3提问于2015-09-14得票数 14

回答已采纳

1回答

PyArrow表到PySpark数据帧的转换

python-3.x、pandas、pyarrow

我正在尝试将我的Pandas数据帧转换为PySpark数据帧。createDataFrame函数不起作用，所以我找到了PyArrow。我可以转换PyArrow表--> Spark表，但是我找不到任何方法来转换Pandas表--> Spark谢谢

浏览 1提问于2018-11-16得票数 3

1回答

如何在Databricks中快速轻松地在R和pandas数据帧之间进行转换？

r、pandas、databricks、temp-tables

我是一个拥有最少python经验的R用户。我听说我必须使用spark temp tables来做这件事，而且它非常简单，但我找不到任何完整的示例代码，到目前为止，我还不能让它工作。我得到了一个SparkR数据帧(因为我不能让Base R数据帧与RegisterTempTable()一起工作)，并将它转换成一个临时表：jdbc_url <- "jdbc:sqlserver[table]) as result" ) SparkR

浏览 1提问于2020-05-29得票数 1

1回答

在spark数据帧上实现pythonic统计函数

pandas、apache-spark、pyspark、statistical-test

我在spark数据帧中有非常大的数据集，它们分布在节点上。我可以使用spark库pyspark.sql.functions进行简单的统计，如mean、stdev、skewness、kurtosis等。如果我想使用像Jarque-Bera (JB)或Shapiro Wilk(SW)等高级统计测试，我会使用像scipy这样的python库，因为标准的apache pyspark库没有它们。但为了做到这一点，我必须将spark</e

浏览 30提问于2020-09-13得票数 0

1回答

Snowflake : SQL访问控制错误:权限不足，无法对架构进行操作

pyspark、aws-glue、snowflake-cloud-data-platform

我已经编写了aws glue job，我试图将雪花表作为spark数据帧读取，并尝试将spark数据帧写入snowflake表。在这两种情况下，我的工作都无法显示“操作模式的权限不足”。但是当我在雪花cli上直接写insert语句时，我能够插入数据。所以基本上我有插入权限。那么，当我尝试从dataframe中插入数据或从snowflake表中读取数据作为dataf

浏览 0提问于2019-02-09得票数 0

1回答

如何将pandas/pyspark数据帧读写到Snowflake

python、pandas、dataframe、apache-spark、snowflake-cloud-data-platform

我想用我创建的pandas dataframe填充一个雪花表。我已连接到Snowflake -如何将pandas数据帧写入Snowflake表？

浏览 2提问于2021-07-20得票数 0

1回答

将pandas数据帧转换为PySpark数据帧

python-3.x、pandas、pyspark、apache-spark-sql、pyspark-sql

我正在使用：从spark --> Pandas的转换很简单，但我正在为如何将Pandas数据帧转换回Spark而苦苦挣扎。import * import argparse,

浏览 1提问于2018-10-23得票数 15

回答已采纳

2回答

如何在PySpark中将Pandas的DatetimeIndex转换为DataFrame？

apache-spark、pyspark、pyspark-sql

MonthlyTransactionDate")).first()df3 = spark.createDataFrame(tmp) 我已经检查了tmp，我有一个熊猫数据帧的日期列表。

浏览 80提问于2019-01-02得票数 2

回答已采纳

3回答

如何使用createDataFrame创建pyspark数据帧？

pyspark

我知道这可能是一个愚蠢的问题。我有以下代码：rows = [1,2,3]df.printSchema()但是我得到了一个错误：我不明白为什么会发生这种情况，因为我已经提供了'data'，也就是变量row。

浏览 1提问于2018-03-12得票数 2

回答已采纳

1回答

如何在spark* sql dataframe中映射一列以创建新列？*

python、pandas、dataframe、apache-spark

在python和pandas中，我可以创建一个新的专栏，如下所示：使用pandas dataframe中的两列来创建字典。dict1 = dict(zip(data["id"], data["duration"])) 然后，我可以应用这个字典在第二个dataframe中创建一个新列。df['id_duration'] = df['id'].map(lambda x: di

浏览 38提问于2021-01-22得票数 0

回答已采纳

1回答

使用Hive表迭代Spark数据帧

apache-spark、hive、pyspark、apache-spark-sql、hiveql

我有一个非常大的csv文件，所以我使用spark并将其加载到spark数据帧中。for index, row in locations.iterrows(): color="

浏览 27提问于2018-05-30得票数 0

1回答

pandas数据帧的PySpark rdd

apache-spark、pyspark

每个源文件对应于一些测量数据的给定快照时间。我有一个预处理函数，可以获取其中一个文件并输出pandas数据帧。所以我做了一个spark调用，它给了我一个所有输入文件的列表，然后我调用了map，它为我提供了一个sc.wholeTextFiles，其中每个元素都是一个熊猫数据帧。现在“重塑”此结构的最佳方法是什么，以便我只有一个由连接的较小数据帧组成的结果数据帧？

浏览 0提问于2020-06-29得票数 0

点击加载更多