1回答
我有一个有15列的数据帧(4列是分类的，其余的是数字的)。print type(df.printSchema())
浏览 10提问于2017-03-15得票数 5
回答已采纳
我正在尝试在PySpark中找出DataFrame的大小/形状。我看不到有一个函数可以做到这一点。data.shape()row_number = data.count()列数的计算并不理想……
浏览 482提问于2016-09-23得票数 118
我有两个DataFrames，我想对这两个DataFrame的每一列应用distance.euclidean(df1.select(col),df2.select(col))。示例： from pyspark.sql import SparkSessionfrom pyspark.sql.typesrdd.flatMap(lambda x:x).collect(), df2.select(col).rdd.f
浏览 9提问于2020-07-11得票数 0
4回答
PySpark计算相关性
、、、、
我想使用pyspark.mllib.stat.Statistics.corr函数来计算pyspark.sql.dataframe.DataFrame对象的两列之间的相关性。如何将df['some_name']列转换为rdd of Vectors.dense对象？
浏览 12提问于2016-06-03得票数 16
回答已采纳
1回答
我有一个PySpark DataFrame，每个车辆行程都有一个“速度”列，我想在一个新列中计算0.95扩展(1)分位数。3 110和应用提供(在对新df的索引和列进行了一些操作之后95 93.507
浏览 3提问于2022-09-15得票数 0
我有一个非常大的CSV文件，它已经作为一个PySpark数据文件导入：df。dataframe包含许多列，包括列ireturn。我想要计算该列的0.99和0.01百分位数，然后将另一列添加到dataframe df中，作为new_col_99和new_col_01，它们分别包含0.99和0.01百分位数。我编写了下面的代码，它适用于小数据格式，但是当我将它应用到我
浏览 0提问于2019-01-15得票数 3
我使用的是pyspark 1.5.2。我有一个包含"ID“和"Height”列的pyspark dataframe，如下所示：----------"ID2“的高度的四分位数，并根据以下标准将它们分类为高、中或短：Medium: All hei
浏览 29提问于2018-07-25得票数 1
回答已采纳
1回答
我有PK列的列表。我在存储主键，因为每个表的主键数可能会发生变化。我想根据pk_list中的列连接两个数据帧。现在，我的代码如下所示：
full_load_tbl_nc = full_load_tbl.join(delta_load_tbl, (col(f) == col(s) for (f,s/yarn/use
浏览 0提问于2018-12-07得票数 2
3回答
我有一个PySpark dataframe，其中1列由字符串列表组成。我想在所有行中计算每个字符串列表中每个元素的实例数。，并从单个庞大列表中构建一个计数器。在PySpark中是否有一种有效的方法来做到这一点？正确的输出将是一个collections.Counter()对象，其中填充了所有列中所有列表中每个项的出现数，也就是说，
浏览 6提问于2020-05-08得票数 1
回答已采纳
Pyspark API提供了除median之外的许多聚合函数。Spark 2附带了approxQuantile，它给出了近似的分位数，但精确的中位数计算起来非常昂贵。对于Spark Dataframe中的一列值，是否有更多的Pyspark方法来计算中值？
浏览 3提问于2016-08-03得票数 3
回答已采纳
我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。Window.orderBy(df.BALANCE)
test = df.withColumn('percentile_col',F.percent_
浏览 14提问于2019-07-11得票数 0
1回答
如何计算pyspark中多个列的方差？例如，如果pyspark.sql.dataframe表是：1 12 15 73 56 25 25ID A B C Variance2 6 15 2 29.64 3612 5
浏览 1提问于2017-04-28得票数 1
1回答
如何在不立即触发计算的情况下，高效地将列除以其在星火DataFrame中的自身和？[id: bigint]data2 # --> DataFrame[id: bigint, normalized: double]
这很好，但它会立即触发一个计算；如果
浏览 0提问于2018-01-31得票数 2
回答已采纳
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
2回答
我希望在一个列上分组一个dataframe，然后在所有列上应用一个聚合函数。它的R等价值是summarise_all。在R.我不想手动在pyspark中<
浏览 1提问于2019-05-22得票数 4
回答已采纳
我有一个非常大的星火DataFrame和许多列，我想作出一个明智的判断是否保持在我的管道中，部分取决于它们有多大。所谓“有多大”，我指的是缓存这个DataFrame时内存中字节的大小，我希望这是对处理这些数据的计算成本的一个不错的估计。有些列是简单类型(例如，双列、整数列)，而另一些列是复杂类型(例如数组和可变长度映射)。我尝试
浏览 0提问于2019-02-25得票数 2
回答已采纳
我想检查Dataframe列first_id中的值是否在我所拥有的in的python列表中，如果是，那么它应该传递过滤器。first_id_list = [1,2,3,4,5,6,7,8,9]
我用python编写，id_dataframe是<e
浏览 5提问于2019-11-19得票数 0
回答已采纳
1回答
在this问题中，我问过如何组合具有不同列数的PySpark数据帧。给出的答案要求每个数据帧必须具有相同的列数才能将它们全部合并： from pyspark.sql import SparkSession for x
浏览 13提问于2021-06-28得票数 1
回答已采纳
在PySpark中有没有一种方法可以同时分解所有列中的数组/列表，并将分解后的数据分别合并/压缩到行中？|col1 |col2 |col3 ||[j,k,l]|[m,n,o]|[p,q,r]||
浏览 17提问于2018-02-27得票数 1
回答已采纳
1回答
import pandas as pdfrom pyspark.sql import SparkSession
def func(x): return x
pdf = pd.DataFrame8 CPU单节点系统上进行了测试(例如m5.4xlarge EC2实例)，并且运行大约1秒，因为一秒睡眠功能被并行地应用于8个CPU
浏览 37提问于2022-10-10得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
