如何计算字符串在PySpark数据帧列中的出现次数？
在PySpark中，可以使用groupBy和count函数来计算字符串在数据帧列中的出现次数。
首先，需要导入必要的模块和创建一个SparkSession对象：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
spark = SparkSession.builder.getOrCreate()接下来，可以读取数据并创建一个数据帧：
data = [("apple",), ("banana",), ("apple",), ("orange",), ("banana",)]
df = spark.createDataFrame(data, ["fruits"])
df.show()输出结果为：
+------+
|fruits|
+------+
| apple|
|banana|
| apple|
|orange|
|banana|
+------+然后，可以使用groupBy和count函数来计算字符串在数据帧列中的出现次数：
result = df.groupBy("fruits").count().orderBy(col("count").desc())
result.show()输出结果为：
+------+-----+
|fruits|count|
+------+-----+
| apple| 2|
|banana| 2|
|orange| 1|
+------+-----+这样，就得到了字符串在数据帧列中的出现次数。其中，groupBy函数用于按照指定列进行分组，count函数用于计算每个分组中的记录数。最后，使用orderBy函数按照出现次数降序排序结果。
在腾讯云的产品中，可以使用TencentDB for Apache Spark进行大数据分析和处理，详情请参考：TencentDB for Apache Spark。
相关·内容
1回答
pandas匹配两列并创建另一列
python、pandas、numpy、pivot、pandas-groupby
我有一个包含A、B、C列的数据框架，我想比较B和C列，并创建两个列:A-1(当前行年份-1)和A-2(当前行年份-2)，其中A是年份列。
例如:在1971年的数据框中，B列有苹果，橙色，C列只有苹果，1970年有B -banana，苹果和C-苹果。现在，对于1971年的每一行，我们尝试生成A-1( 1970 )，A-2(1969)列.In year (A-1)1970的值，apple在B，C列中都被捕获，所以我们在1971年的前两行标记为yes，然后在第三行标记为no，因为1970年没有橙色。
因此，对于每一行，我们考虑年份(例如1971年)，检查B和C值，并查看在第1年(1970)和第2年(
浏览 0提问于2019-01-12得票数 0
1回答
通过只从两列中获取唯一值，将的组列
pyspark、pyspark-sql、pyspark-dataframes
我希望根据两列的唯一值对列进行分组。dataframe的输出应该是这样的，一旦为groupby使用了某个值，如果它出现在另一列中，那么它就不应该重复。
|------------------|-------------------|
| fruit | fruits |
|------------------|-------------------|
| apple | banana |
| banana | apple
浏览 0提问于2019-08-30得票数 0
回答已采纳
2回答
R:使用两个数据帧的条件替换
r、dataframe、replace、conditional-statements
我有一个这样的数据帧df：
df <- data.frame(fruits = c("apple", "orange", "pineapple", "banana", "grape"))
df_rep <- data.frame(eng = c("apple", "orange", "grape"),
esp = c("manzana", "naranja", "uva&#
浏览 15提问于2018-07-31得票数 1
回答已采纳
2回答
获取2列上的group by的Sql查询
sql、pivot
我期待有2个不同的列值计数的结果
Name | fruits
----------------
Vishal | orange
Manish | orange
Vishal | apple
Manish | orange
Manish | apple
Vishal | orange
Vishal | mango
Vishal | banana
结果应该是
Name | Orange count | Apple count| mango | banana
--------------------------
Vishal | 2 | 1 | 1 | 1
Manish | 2 | 1 | 0 |
浏览 1提问于2016-08-23得票数 0
1回答
使用Presto在ANSI SQL中提取json数组
arrays、json、presto
这就是我遇到的问题:我在json中的presto表中有一个列"xyz“的数据元素，数组格式如下：
col1 | col2
a | {"fruits": ["apple", "banana", "orange"]}
b | {"fruits": ["apple", "banana", "orange", "grapes"]}
我需要以下格式的数据：
col1 | col2 | col3 | col4 | col5
a | ap
浏览 2提问于2020-06-06得票数 0
2回答
如何用R在数据矩阵中添加新列的相同字符串的总数
r、loops、row、stringr、search-keywords
假设我有一个矩阵，5乘5的水果名(5类水果)。我想在这个现有的矩阵中添加5个新列，其中每个行都包含单个水果的总数，最后再增加一行，以显示每个相同类型的水果的总和。数据矩阵是这样的
[,1] [,2] [,3] [,4] [,5]
[1,]mango banana mango
[2,]apple kiwi banana
[3,] mango
[4,]mango apple
[5,] orange
我想得到像这样的输出(数据帧)，
[,1] [,
浏览 1提问于2016-02-20得票数 1
回答已采纳
2回答
在数据帧的多列中计数“1”
r、dplyr
给定以下数据帧： fruit <- c("Orange", "Apple", "Apple", "Orange", "Banana", "Orange", "Banana", "Pear", "Banana", "Pear", "Pear", "Apple")
col2 <- c("0", "0", "1", "0", "
浏览 20提问于2021-04-10得票数 1
回答已采纳
3回答
如何在单个列中拆分值并分配给熊猫数据帧中的匹配列
python、pandas
我有一个包含多个值的列的dataframe。我需要拆分这些值，并将它们分配给单独但匹配的列。“示例水果”列包含不同的水果。我需要分割这些水果，并分配苹果到苹果栏，香蕉到香蕉栏..etc。
fruits
0 apple/mango
1 grapes
2 orange/apple
3 grapes/orange/apple/banana
4 banana/grapes/apple
我创建了数据框架，但是当我在一行中拆分值时，这些值将被添加到多个行，而不是单个行。在新的数据帧中应该有5行，但是我得到了12行
columns_name =['apple',&
浏览 9提问于2022-02-17得票数 1
回答已采纳
1回答
在Scala中生成随机对象
scala、apache-spark
我是scala的初学者，我尝试在Scala中生成活动水果销售，并将结果存储在json文件中。为此，我尝试生成随机对象(带有名称和来源的水果)，但我遇到了困难，我不知道如何使用random类来实现。 下面是我的代码： import scala.util.Random
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder
.appName("FruitSales")
.getOrCreate()
object FruitSales extends Enumeration {
浏览 17提问于2020-08-30得票数 0
2回答
Python -按列的唯一值分组，并将df转到列表
python、pandas、dataframe、unique、transpose
我正在尝试将数据帧转换为列表、按列中的唯一值进行分组和转置。我不确定是否应该先删除重复的值。看起来，我需要使用一个或多个熊猫循环来完成这个任务，但我还不知道如何做到这一点。如果有人能帮忙就太好了。以下是我想要做的事：
cvs中的数据帧：
Col1 Col2
Apple Mary
Apple Ben
Apple Katy
Kiwi Joy
Kiwi Sam
Banana Ben
Banana Tom
Banana John
期望产出：
[Apple, Mary, Ben , Katy]
[Kiwi, Joy, Sam]
[Banana, Ben, Tom,
浏览 2提问于2017-10-27得票数 2
回答已采纳
5回答
如何使用Python将列表传递给函数，然后分别对项的出现次数进行排序和计数？
python、list、function、sorting
列表如下：["Apple", "Banana", "Peach", "Apple", "Banana", "Orange"] 我尝试将列表传递给一个函数，并按如下方式对其进行排序： def l(fruits):
for i in fruits:
print(i)
n = ["Apple", "Banana", "Peach", "Apple", "Banana", "Orange"]
l
浏览 33提问于2021-10-14得票数 1
回答已采纳
1回答
数据透视表列中值的筛选
python、pandas
如果我想将值/列之和到某个时间段，如何使用pivot表进行聚合？例如，在下表中，如果我想要2000-2001年和2002-2004年期间水果的总和，我会写什么代码？到目前为止，我有以下几点：
import pandas as pd
import numpy as np
UG = pd.read_csv('fruitslist.csv', index_col=2)
UG = UG.pivot_table(values = 'Count', index = 'Fruits', columns = 'Year', aggfunc=n
浏览 0提问于2018-10-12得票数 1
回答已采纳
1回答
vba用于提取和唯一于Col B，计数为Col C
excel、vba
我有A列中的数据和重复数据，我想从A列数据中提取唯一值到B列，并在C列中计算A列数据的重复值
在这里，我发现了这个vba代码，当数据从列A1开始时，它是工作的，没有标头
这是我的问题所在，我有像下面这样的标题的数据
Col A1 Fruits Column B1 Fruits Column C1 Dup Count
Apple
Banana
Apple
Orange
Banana
Orange
Apple
我需要像下面这样的输出
Col A1 Frui
浏览 7提问于2021-12-06得票数 1
回答已采纳
1回答
Pandas -检查列表列中的所有元素是否都在另一个列表中
python、python-3.x、pandas、dataframe
我有一个数据帧，看起来像这样： Name Fruits
1 Bob Apple,Banana
2 Sam Apple,Orange
3 George Banana,Kiwi,Cherry 另一个列表看起来像这样： Allowed_fruits = [Apple,Banana] 我正在尝试编写一个测试来检查allowed_fruits列表中Fr
浏览 45提问于2020-01-14得票数 0
回答已采纳
1回答
具有λ函数的PySpark - map
python、pandas、apache-spark、lambda、pyspark
在Spark环境中混合使用python map和lambda函数时，我遇到了一个问题。
给定df1，我的源数据帧：
Animals | Food | Home
----------------------------------
Monkey | Banana | Jungle
Dog | Meat | Garden
Cat | Fish | House
Elephant | Banana | Jungle
Lion | Meat | Desert
我想创建另一个数据帧df
浏览 0提问于2019-06-24得票数 1
回答已采纳
1回答
使用Pyspark限制导入的Groupby聚合
python、sql、dataframe、variables、pyspark
我有数据当前，如下所示：
+------+-----------+----------+----------+-----+
| sid|acc_term_id|first_name| last_name|major|
+------+-----------+----------+----------+-----+
|106454| 2014B| Doris| Marshall| BIO|
|106685| 2015A| Sara|Richardson| CHM|
|106971| 2015B| Rose| Butler|
浏览 2提问于2021-06-02得票数 1
回答已采纳
3回答
向PySpark数据帧中添加组计数列
apache-spark、pyspark、dplyr
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
1回答
在DataFrame上迭代时更新列
scala、apache-spark、apache-spark-sql
有数据框架：
import sqlContext.implicits._
case class TestData(banana: String, orange: String, apple : String, feijoa: String)
var data = sc.parallelize((1 to 5).map(i => TestData("banana="+i.toString,
"orange="+i.toString,"apple="+i.toString,"feijoa=&#
浏览 0提问于2017-01-19得票数 3
回答已采纳
2回答
比较数据帧并输出计数匹配数
python、pandas
我想要计算一个数据帧在另一个数据帧中的出现次数，并输出匹配的计数。
df
group1 group2
0 orange orange
1 apple apple
2 banana pear
3 banana banana
。
fruit_df
fruits
0 orange
1 banana
所以：
groups = ["group1", "group2"]
matrix = pd.DataFrame()
for group in groups:
out = fruit_df["fruits
浏览 26提问于2019-11-07得票数 2
回答已采纳
3回答
在两列之间返回类似于groupby().sum()的结果
apache-spark、pyspark、apache-spark-sql
我有以下示例数据
fruit_list = ['apple', 'apple', 'orange', 'apple']
qty_list = [16, 2, 3, 1]
spark_df = spark.createDataFrame([(101, 'Mark', fruit_list, qty_list)], ['ID', 'name', 'fruit', 'qty'])
我想创建另一个专栏，其中包含一个类似于熊猫groupby('fruit
浏览 0提问于2019-07-31得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
