腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
在
单个
DataFrame
中
合并
两
列
,
并
使用
PySpark
计算
出现
的
次数
apache-spark
、
pyspark
、
apache-spark-sql
我
的
DataFrame
name1和name2
中
有
两
列
。我想加入它们
并
计算
出现
的
次数
(没有空值!)。
浏览 124
提问于2021-01-21
得票数 2
回答已采纳
1
回答
相当于用于pandas.
DataFrame
的
pandas.Series.value_counts
python
、
pandas
我想
计算
一下数据元组
在
熊猫
DataFrame
中
出现
的
次数
。例如,假设我
的
数据如下所示:0 0 02 1 04 1 1(0,0) 2(1,0) 1dtype: int64 但是,我知道
的
最接近
的
方法是做一些算术运算,将
浏览 1
提问于2019-07-12
得票数 0
1
回答
如何根据id将多行
合并
为一个单元格,然后进行计数?
python
、
apache-spark
、
dataframe
、
pyspark
如何
使用
PySpark
将多行
合并
为基于id
的
单个
单元格?我有一个包含ids和产品
的
数据框架。首先,我想将具有相同id
的
产品
合并
到一个列表
中
,然后我想
计算
每个唯一
列
表
出现
的
次数
。,HOME4,cd4,videoproduct,countmobile-watch,1 cd-
浏览 7
提问于2017-12-13
得票数 0
回答已采纳
3
回答
计算
spark数据帧
中
的
字数
python
、
apache-spark
、
pyspark
、
apache-spark-sql
如果不
使用
SQL
的
REPLACE()函数,我们如何才能找到spark数据帧一
列
中
的
字数?下面是我正在
使用
的
代码和输入,但replace()函数不起作用。from
pyspark
.sql import SparkSession .builder \ .enableHiveSupport
浏览 3
提问于2018-02-22
得票数 10
1
回答
在
pyspark
的
dataframe
中
迭代
列
,而不为
单个
列
生成不同
的
数据。
python-2.7
、
pyspark
、
spark-dataframe
我们如何在
dataframe
中
的
列
中
迭代以单独对同一数据same
中
的
部分或所有
列
执行
计算
,而不为
单个
列
创建不同
的
数据same(类似于map
在
rdd
中
遍历行,并在行上执行
计算
而不为每一行创建不同
的
rddl = list of column names df =
dataframe
in
浏览 3
提问于2017-03-10
得票数 1
2
回答
Spark
Dataframe
- Python -
计算
字符串
中
的
子字符串
python
、
string
、
apache-spark
、
pyspark
我有一个Spark
dataframe
,它有一个字符串类型
的
列
("assigned_products"),它包含如下值:我想
计算
"+"
在
字符串
中
的
出现
次数
,并在一个新<em
浏览 122
提问于2018-07-21
得票数 11
回答已采纳
2
回答
一个句子
中
两
个单词一起
出现
的
次数
python
、
nlp
、
nltk
、
token
、
spacy
我有一只熊猫
的
资料,
在
一栏
中
我有引文。 我想
计算
在同一个句子中
出现
两
个给定单词
的
频率,
并
计算
这些单词
在
文档中
出现
的
次数
。例如,给定"I“和"have",
计算
一个文档
中
"I”和"have“
在
同一个句子中
出现
的
次数</em
浏览 7
提问于2020-08-14
得票数 0
回答已采纳
1
回答
使用
基于
列
的
发生
的
Pyspark
数据框架过滤器
python
、
apache-spark
、
dataframe
、
pyspark
我有
pyspark
dataframe
,我想过滤包含
列
A和B
的
dataframe
。现在,我只想得到B
的
值,其中A
的
出现
次数
大于某个数字N。N=5预期输出 您可以看到,由于阈值为5,因此只有
列</e
浏览 0
提问于2018-08-27
得票数 1
4
回答
将数据帧
中
两
列
的
值组合起来,
并
获取每个
列
的
计数
python
、
pandas
、
count
我有一个有
两
列
的
dataframe
,每个
列
都有5个值。我希望将
两
列
中
的
所有值组合起来,打印它们,
并
计算
每个值
出现
的
次数
。例如:
列
2- Fruits 2 -具有以下值[Apricot, Avoca
浏览 19
提问于2021-12-11
得票数 0
回答已采纳
1
回答
如何
使用
pySpark
将items行
中
的
数组
列
单元格转换为计数?
arrays
、
pyspark
、
dataset
、
transformation
我有一个
在
一
列
中有多个值
的
数据集,并且我想
计算
每个值在数据集
的
所有行中
出现
的
次数
。+ 1 ++ val3 + 2 ++---------+-------+ 代码
在
pySpark
中
我
使用
了split函数来获取一个值数组。我有一个包含数组
列
的</
浏览 15
提问于2019-10-06
得票数 0
回答已采纳
1
回答
如何
合并
或连接spark
中
列
号不相等
的
数据帧
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
spark-dataframe
我正在做一个
使用
spark
的
项目。
在
某些阶段,我需要在
单个
数据帧
中
合并
或连接3个数据帧。这些数据帧来自spark sql表,我
使用
了联合函数,它已经
合并
了
两
个表
中
具有相同编号
的
列
,但我也需要
合并
不相等
的
列
值。我现在很困惑,有没有办法
在
pyspark
中
合并
或连
浏览 13
提问于2016-09-22
得票数 0
1
回答
如何除以星火
DataFrame
中
列
的
和
apache-spark
、
pyspark
、
apache-spark-sql
如何在不立即触发
计算
的
情况下,高效地将
列
除以其
在
星火
DataFrame
中
的
自身和?spf.col('id') / s)这很好,但它会立即触发一个
计算
;如果您为许多
列
定义了类似的内容另一种方法是
使用
包含整个表
的
窗口规范: w = Windo
浏览 0
提问于2018-01-31
得票数 2
回答已采纳
2
回答
如何在
PySpark
中
获得数据类型为时间戳
的
列
的
null/nan计数?
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个名为 createdtime
的
列
,其数据类型为时间戳,我希望找到创建时间为空或空或nan
的
行数。from
pyspark
.sql.functions import col,isnan,when,count df_Columns=["
浏览 5
提问于2022-06-26
得票数 0
2
回答
在数据库环境
中
尝试
合并
或连接
两
个
pyspark
.sql.
dataframe
.
DataFrame
python
、
python-3.x
、
dataframe
、
pyspark
我
在
中有
两
个数据仓库。
两
种类型都是:
pyspark
.sql.
dataframe
.
DataFrame
Error Message: TypeError: cannot concatenate object of type "<class '
pyspark
.sql.
dat
浏览 8
提问于2020-02-06
得票数 0
回答已采纳
1
回答
根据update_time将数据帧内
的
多个spark行按ID
合并
为一行
pyspark
我们需要
使用
Pyspark
将基于ID
的
多行
合并
到
单个
记录
中
。如果该列有多个更新,那么我们必须选择对它进行了最后一次更新
的
那个。请注意,NULL表示没有对该实例
中
的
列
进行更新。因此,基本上我们必须创建一行,其中包含对记录所做
的
合并
更新。因此,例如,如果这是数据帧...寻找类似的答案,但在
Pyspark
..Merge rows in a spark scala <e
浏览 18
提问于2021-10-14
得票数 0
2
回答
如何
使用
PySpark
将这些多个csv文件(大约130,000个)有效地
合并
为一个大型数据集?
python
、
apache-spark
、
memory
、
pyspark
、
bigdata
我之前发布了这个问题,并得到了一些
使用
PySpark
的
建议。 b
浏览 14
提问于2020-02-17
得票数 2
回答已采纳
1
回答
计数
PySpark
数据帧中
出现
的
次数
为零
python
、
python-3.x
、
pyspark
、
apache-spark-sql
、
pyspark-dataframes
如何
计算
每个
PySpark
Dataframe
's行
中
0s
的
出现
次数
?我想要这个结果,请注意,n0
列
包含逐行计数: +--------+-----+-----+----+-----+---++-
浏览 17
提问于2020-11-15
得票数 0
回答已采纳
4
回答
dplyr n_distinct有条件
r
、
dplyr
使用
dplyr对数据集进行汇总,我想调用n_distinct来
计算
列
中
唯一
出现
的
次数
。但是,我还想对满足另一
列
中
的
条件
的
列
中
的
所有唯一
出现
的
情况进行另一次总结()。名为“a”
的
示例
dataframe
:1 Y3 Ya %>% summaris
浏览 9
提问于2016-01-06
得票数 15
回答已采纳
2
回答
SQL count一个值
在
多
列
中
出现
了多少次?
mysql
、
sql
我
在
mysql数据库中有
两
列
,我想要
计算
单个
名称在这
两
列
中
出现
的
次数
。COUNT函数本身对我不起作用,因为它只
计算
一
列
中
的
总数。MySql
列
:| Member1 | Member2 | +-----------------+----
浏览 0
提问于2013-04-30
得票数 6
回答已采纳
1
回答
pandas groupby count字符串
出现
在列上
python
、
pandas
、
count
、
group-by
、
dataframe
我想
计算
一个分组
的
pandas
dataframe
列
中
字符串
的
出现
次数
。对于这些组
中
的
每个组,我希望
在
scores
列
中
计算
RET
的
出现
次数
。结果应该如下所示:A X 1B Z 2 按<
浏览 1
提问于2015-07-27
得票数 13
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
4个解决特定的任务的Pandas高效代码
Python开源数据分析工具TOP 3!
如何管理Spark的分区
手把手教学,利用Python构建一个简单的推荐系统
遇见YI算法之初识Pyspark(二)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券