在pyspark dataframe中添加前缀和重置索引

文章/答案/技术大牛

发布

1回答

python、pandas、pyspark

下面是我在熊猫身上经常做的事情 cdr = datamonthly.pivot(index="msisdn", columns="last_x_month", values="arpu_sum").add_prefix('arpu_sum_l').reset_index() 但我在皮斯帕克所做的 cdr = datamonthly.groupBy("msisdn").pivot("last_x_month").sum

浏览 55提问于2021-08-31得票数 0

回答已采纳

1回答

FInd数据帧中的第一个非零元素

python、dataframe、pyspark

我正在处理一个pyspark dataframe，并尝试查看是否有一种方法可以提取spark dataframe中第一个非零元素的索引。我自己添加了索引列，因为pyspark不支持它，而不是pandas。

浏览 29提问于2021-10-08得票数 0

1回答

Pyspark -> StringIndexer:用数字替换“无”值

apache-spark、pyspark

(self.rawData, columnName) @staticmethod indexer = indexer.fit(dataFrame) dataFrame = indexer.transform(<

浏览 1提问于2018-04-29得票数 0

1回答

如何在不丢失模式的情况下用PySpark的JDBC覆盖数据？

apache-spark、pyspark、apache-spark-sql

我有一个愿意写入PostgreSQL数据库的DataFrame。但问题是，我希望将主键和索引保留在表中。因此，我想要么只覆盖数据，保留表模式，要么在之后添加主键约束和索引。其中任何一个都可以用PySpark完成吗？或者，我需要连接到PostgreSQL并执行命令来自己添加索引吗？

浏览 3提问于2018-04-04得票数 7

5回答

DataFrame对象没有属性“col”

apache-spark

在“火花:最终指南”中，它说： df.col("count") 但是，当我在包含列count的dataframe上运行后的代码时，就会得到错误'DataFrame' object has nodatafram

浏览 2提问于2018-08-12得票数 9

2回答

在数据库环境中尝试合并或连接两个pyspark.sql.dataframe.DataFrame

python、python-3.x、dataframe、pyspark

我在中有两个数据仓库。两种类型都是: pyspark.sql.dataframe.DataFrame Error Message: TypeError: cannot concatenate object of type "<class 'pyspark.sql.dataframe.Da

浏览 8提问于2020-02-06得票数 0

回答已采纳

1回答

向类添加功能的最佳方法- PySpark

python、pandas、dataframe、oop、pyspark

有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper，其中通过赋值语句将方法添加到pyspark.DataFrame类中。问题是，我正在创建一个Github来存储我的所有函数和ETL，我认为如果我能够应用上面显示的逻辑，就可以非常容易地创建一个__init__.py模块，在其中实例化我的所有功能，

浏览 6提问于2020-07-09得票数 1

6回答

如何在python/中的所有列中添加后缀和前缀

python、apache-spark、pyspark、spark-dataframe

我想要做的是，对于所有的列名，我想在列名的开头和列名的末尾添加回滴答(`)。column name is testing user.I want `testing user` 有没有一种方法可以在pyspark/python中做到这一点。当我们应用代码时，它应该返回一个数据帧。

浏览 3提问于2017-04-01得票数 18

回答已采纳

1回答

将多索引的内容替换为DataFrame列

pandas

假设我有一个带有MultiIndex的DataFrame，如下所示Out[88]: integrate 2 0.083333 如何将MultiIndex的内容重新插入到常规列中，

浏览 2提问于2013-02-12得票数 1

回答已采纳

2回答

如何使用matplotlib绘制pyspark* sql结果*

python、pandas、matplotlib、pyspark-sql

我对pyspark是个新手。我想使用matplotlib绘制结果，但不确定使用哪个函数。我寻找了一种将sql结果转换为pandas然后使用plot的方法。

浏览 9提问于2017-07-10得票数 14

回答已采纳

1回答

海豚中的表是如何像熊猫一样实现再索引功能的？

index、index-tuning

在Pandas中，可以通过重置索引操作来重新排序现有数据。如果在原始Dataframe或系列中不存在重置索引标签，则元素值。我可以问一下如何在DolphinDB中实

浏览 0提问于2022-12-26得票数 0

4回答

PySpark java.io.IOException:方案没有FileSystem : https

pyspark、apache-spark-sql、pyspark-sql

990.s3.amazonaws.com/201611339349202661_public.xml") 1135 for temp_arg in temp_args: C:\SPARK_HOME\spark-2.2.0-bin-hadoop2.7\python\pyspark

浏览 87提问于2017-11-17得票数 4

回答已采纳

2回答

如何将List[String]值添加到数据帧中的单个列

scala、apache-spark

我有一个dataframe，我有一个值列表(可能是列表字符串)，我想在我的dataframe中创建一个新列，并将这些列表值作为列值添加到这个新列。c_df)((df, column) => df.withColumn("newcolumnname" , lit(column)))

浏览 0提问于2019-01-03得票数 0

3回答

如何将pandas中的单热点编码列重命名为其各自的索引？

python、pandas

此行添加一个包含0和1的列，其名称的格式为prefix_categoricalValue我希望列的名称是它的索引，而不是prefix_categoricalValue。我知道我可以做像df.rename(columns={'pre

浏览 2提问于2018-08-30得票数 1

2回答

使用java将索引列添加到apache spark Dataset<Row>

java、apache-spark

下面的问题有scala和pyspark的解决方案，而这个问题提供的解决方案不是针对连续索引值的。Spark Dataframe :How to add a index Column : Aka Distributed Data Index 我在Apache-spark中有一个现有的数据集，我想根据索引从中选择一些行我计划添加一个包含从1开始的唯一值的索引列，并根据该列的值提取行。我找到了下面的方法来添加使用order by的索

浏览 41提问于2019-05-16得票数 2

回答已采纳

2回答

pyspark.pandas和熊猫有什么区别？

pandas、pyspark

开始在Databricks上使用PySpark，我看到我可以在pandas的同时导入pyspark.pandas。有什么不同吗？我想这不像koalas，对吧？

浏览 13提问于2022-09-20得票数 0

1回答

根据存储在另一列(Pandas)中的列索引选择列值

python、pandas

pandas as pd 'Column1':['Spark',10000,'Python','35days'], 'ind':[1,2,

浏览 4提问于2022-05-20得票数 1

回答已采纳

1回答

熊猫数据索引& loc

python、pandas

有一个名为DFF的Pandas Dataframe，如下所示：SalesOrder SOItem SLNo 4501034 20 1 ZH names=['SalesOrder', 'SOItem', 'SLNo']) 还有另一个名为SDD的Panda

浏览 12提问于2022-11-30得票数 -3

2回答

将数据保存到HDFS的格式是什么？

hadoop、apache-spark、hdfs、apache-spark-sql

创建DataFrame后，我可以将其保存为avro、csv或拼板格式。在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？

浏览 2提问于2017-12-21得票数 1

1回答

识别pyspark中列值的第一次出现，然后根据它增加另一列。

pyspark

当我在火花放电中遇到一个新的客户id时，我正试图增加一个列-pyspark.sql.dataframe.DataFrame类型，它有2列Customer_id 101 101010101010101010103，每当一个新的Customer_ID标志值被重置为1时，当遇到相同的id时增加。

浏览 2提问于2020-04-05得票数 1

回答已采纳

点击加载更多