我想知道如何使用SQL计算特定数据结构的计数和百分比，我已经使用pandas完成了这项工作。type_446 group_2 type_364 group_2 type_2 我可以使用python和pandas创建计数和百分比，如下所示： dt1 = ( .size()
.rena
浏览 8提问于2021-09-19得票数 0
回答已采纳
rdd = sp_df.repartition(n_partitions, partition_key).rdd.mapPartitions(lambda x: some_function(x)) 结果是pandas.dataframe的rdd， type(rdd) => pyspark.rdd.PipelinedRDDfor
浏览 124提问于2019-12-10得票数 4
回答已采纳
我需要通过Spark分组一个大型数据集，我将其加载为两列的Pandas数据框架，然后重新转换为Pandas:基本上是做Pandas -> 'pyspark.sql.group.GroupedData‘-> Pandas。两列中的元素都是整数，分组后的数据需要以列表的形式存储，如下所示：1 33 8typ
浏览 1提问于2017-08-03得票数 1
我使用的是pyspark 2.4.2，所以对于这个版本的docs，可以这样做来创建一个GROUPED_MAP： from pyspark.sql.functions import pandas_udf(returnType="id long, v double", functionType=PandasUDFType.GROUPED_MAP)
def subtract_mean(pdf):(f=subtract_mean, returnType="id long, v dou
浏览 11提问于2021-01-08得票数 0
回答已采纳
我试图创建一个返回interpolation函数的UDF，但该函数返回一个序列，带有索引并抛出异常。from pyspark.sql.types import FloatType
def3.02 1.0
Name: _0, dtype: float64 with type Series: tried to convert to float32 我尝试强制转换为
浏览 16提问于2019-02-07得票数 1
1回答
我想执行一个累积的产品，以前成功的答案使用对数和的契据。但是，是否有一种方法来使用Numpy累计。我尝试过，但没有得到明确的结果，下面是我的代码： """Calculation of cumulative product using numpy function cumprod. return np.cumprod(float(x)).tolist()
spark_cumulative_product = udf(
浏览 1提问于2020-04-07得票数 1
回答已采纳
我想在Palantir Foundry代码库中定义以下pandas_udf。@pandas_udf("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)但是，当我试图在全局范围内定义这个udf时，我会得到以下错误：
AttributeError: 'NoneType' object has no attribute '_jvm
浏览 2提问于2021-03-02得票数 1
回答已采纳
1回答
在PySpark中，我试图定义一个自定义聚合器，它正在累积状态。在斯帕克2.3有可能吗？AFAIK，现在可以通过使用PySpark关键字调用pandas_udf，从Spark2.3 (cf )开始在PandasUDFType.GROUPED_AGG中定义自定义的PandasUDFType.GROUPED_AGG但是，考虑到它只是将一个函数作为参数，我认为在聚合过程中不可能携带状态。从</em
浏览 0提问于2018-10-02得票数 1
我想要将这个函数应用到中。为此，我在我创建的dataframe上调用"foreachPartition(inside)“方法。"inside“函数需要dataframe值。
浏览 1提问于2018-05-22得票数 0
回答已采纳
1回答
我正在尝试将pandas框架的分组列转换为字符串： 'date' : ['2018-01-01','2018'product' : ['apple','banana','banana','pear'],
浏览 2提问于2018-08-07得票数 2
回答已采纳
在groupby之后，如何在数据帧上使用collect_set或collect_list。例如：df.groupby('key').collect_set('values')。
浏览 2提问于2016-06-02得票数 62
回答已采纳
2回答
如何在PySpark SQL中实现用户定义的聚合函数？4]}))rv = sql.sql('SELECT id, AVG(value) FROM df GROUP BY id').toPandas()In [2]: rv id avg(value)1 2 3.5
在查询中，如何使用UDAF替换AV
浏览 24提问于2021-03-09得票数 4
回答已采纳
我有一个从Hive Table读取数据并应用pandas udf的代码，当它从表中读取数据时，它在11个执行器中运行，但是当它执行一个pandas udf时，它只使用一个执行器。有没有办法指派10个执行者来执行pandas udf？import pandas_udf, PandasUDFType spark = SparkSession.builder.maste
浏览 12提问于2020-10-01得票数 0
1回答
我在查Hadoop的故事。这种转换是如何工作的？集合()是否发生在转换之前？
另外，我需要在每个从节点上安装Python和R以使转换工作？我很难找到这方面的文件。
浏览 4提问于2015-06-22得票数 6
回答已采纳
2回答
我正在处理一个.csv cars数据集(我从获得)，我试图：
import pandas as pd
df = pd.read_csv(len(grouped_df.colu
浏览 14提问于2022-08-16得票数 1
回答已采纳
在IPython中，我在常规数据框架上执行groupby：Out[356]: <pandas.core.groupby.DataFrameGroupBy object at 0x7f0e78578750而不是数据帧： ...: print type(x) ...:
<
浏览 3提问于2014-01-02得票数 2
回答已采纳
我需要第一列顺序是相同的(这听起来很奇怪，但由于它是部分分组的，它有一定的顺序在一个大的规模)。
解决这个问题最快的算法是什么？
浏览 3提问于2017-01-26得票数 1
回答已采纳
为了从matplotlib包中创建条形图，我在从透视表中选择列时遇到了问题。下面的代码从excel文件中的数据创建数据透视表，并为新的一天将该表保存到它自己的excel文件中。数据透视表中的数据是正确的，我对此很满意，但是我很难从数据透视表中创建一个图表，如下所示： import numpy as npfrom datetime import datetime_libs.ind
浏览 53提问于2020-11-09得票数 0
回答已采纳
Dataframe是使用scala创建的。spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
我试图通过在它们的地理坐标周围放置一个盒子来选择传感器： lon_min, lon_max = lons(dataselect_sens['ID'])].copy()
/home/kartik/miniconda3/lib/python3.5/site-packages/pandas
浏览 2提问于2015-12-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
