腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
PySpark
:
根据
Y
列
和
ID
列
中
的
先前
值
计算
X
列
中
的
值
python
、
apache-spark
、
pyspark
我在一个
PySpark
数据框中有3
列
:
ID
,
Y
和
一个空
列
X
。,
Y
,
X
FROM TABLE_NAME") df
ID
: string,
Y
: int,
X
: int +----+-----+---++----+-----+--
的
第一次出现,我会将
X</em
浏览 1
提问于2019-05-02
得票数 0
回答已采纳
1
回答
根据
存储在另一
列
中
的
值
为
列
分配
值
python
、
pandas
我有一个dataframe,其中我想要创建一个基于另一
列
中
存储
的
值
的
新
列
。= ('Country', 'C1','
x
', '
y
')例如,给定以下数据0 USA
x
1 22
浏览 0
提问于2015-11-01
得票数 0
回答已采纳
1
回答
使用csv文件
中
的
pyspark
数据绘制RDD数据
dataset
、
bigdata
、
apache-spark
、
pyspark
、
plotting
我刚刚开始在非常大
的
csv文件上使用
pyspark
。我使用
的
是Spark版本2.1.0。我希望从一个.csv文件
中
读取数据,并将其加载到
中
,然后在过滤特定
的
行之后,使用matplotlib绘制2
列
(纬度
和
经度),将其可视化。(“_c1”)
中
的
值
筛选行:保存
列
数据?(纬度数据位
浏览 0
提问于2017-06-28
得票数 1
1
回答
完整数据帧
的
火花散
列
pyspark
、
hash
是否可以找到完整
PySpark
数据
的
哈希
值
(最好是散
列
256)。我不想找到单个行或
列
的
散
列
。我知道
pySpark
中
存在函数,用于从
pyspark
.sql.functions导入sha2进行列级哈希
计算
。 所需
的
是
根据
年份划分一个大数据,并为每年(小数据)查找散
列
值
并将结果持久化到一个表
中
。输入(产品,质量,商店
浏览 8
提问于2022-12-04
得票数 0
1
回答
用多准则计数行
excel
我有四
列
名为'w','
x
','
y
','z‘。它们都可以有'
y
','n‘或'u’
的
值
。为选择这些
值
提供了下拉列表. 现在我们需要
根据
这些数据
计算
计数。
计算
“
y
”、“n”、“u”在“w”、“
x
”、“
y
”
和
“z”
列
浏览 0
提问于2019-01-07
得票数 0
1
回答
SSRS报表-
根据
不同字段
的
值
计算
一个新字段
reporting-services
、
ssrs-2012
我要做
的
是取一个字段的当前
值
,并
根据
一个不同字段
的
值
乘以它
的
某个因子。例如,如果我有一个
列
(A
列
)具有三个不同
的
值
(Z、
X
和
Y
),而另一
列
(B
列
)具有不同
的
数字,那么我想
根据
这两个相关联
的
值
计算
第三个字段(C
列
)。因此,如
浏览 0
提问于2018-03-20
得票数 0
回答已采纳
1
回答
Bash:
根据
y
列
中
的
值
计算
x
列
中出现
的
值
linux
、
bash
、
shell-script
、
text-processing
我有一根这样
的
绳子。transport=udp 我需要写一个bash脚本来
计算
每个IP (例如192.168.26 )状态4或状态2
的
次数。(这个字符串不包含'/n') 我无法
根据
每个IP解析这个字符串
和
计数值。
浏览 0
提问于2016-08-12
得票数 1
回答已采纳
3
回答
如何在一个列上聚合,并在火花放电中最大限度地利用其他
列
?
apache-spark
、
pyspark
、
apache-spark-sql
我有
列
X
(string)、
Y
(string)
和
Z (浮点)。我也想 如果
列
Y
的
多个
值
对应于Z
列
的
最大
值
,则在
Y</em
浏览 1
提问于2017-05-01
得票数 3
1
回答
在
Pyspark
中
计算
数据帧
中
的
空
值
和
非空
值
python
、
pyspark
、
apache-spark-sql
我在
Pyspark
中有一个dataframe,我想在其上
计算
列
中
的
空
值
和
这些
列
的
不同
值
,即非空
值
这是我拥有的数据帧 trans_date transaction_
id
transaction_
id
11 12016-01-01 null
浏览 74
提问于2019-05-22
得票数 0
回答已采纳
1
回答
函数搜索特定
的
数字,然后进一步搜索前缀。
excel
、
excel-formula
、
vlookup
我有大量
的
数据要处理,在其中
的
4个点与相关
的
前缀需要从对方减去。数据由
ID
和
x
值
组成。例
ID
= 290.12,290.03,290.06,290.09,300.12,300.03,300.06,300.09,301.12,301.03,301.06,301.09 (让我们称前缀为“环号”
和
时钟上
的
后缀时间)
x
值
=每个分配
的
ID
的</em
浏览 9
提问于2022-11-19
得票数 0
回答已采纳
1
回答
是否只读取符合条件
的
.parquet文件
的
特定行?
python
、
pyspark
、
pyarrow
我正在处理一个充满.parquet文件
的
文件系统。其中一
列
'
id
‘唯一地标识了一台机器。我能够使用
pyspark
打开某个目录路径
中
的
所有.parquet文件,然后从'
id
‘
列
创建一组
值
([])。我想打开所有其他文件
中
的
所有其他行,其中'
id
‘与
先前
计算
的
集合
中
的
一
浏览 27
提问于2019-10-19
得票数 1
回答已采纳
2
回答
在mutate()函数(tidyverse)中使用滞后()
的
问题
r
、
dplyr
我正在尝试向dataframe
中
添加另一
列
,其中新
列
是新
列
中
的
前一个
值
和
当前行
值
的
函数。我试着删除不相关
的
代码,并使用简单
的
数字,这样我就可以理解这里
的
答案了。考虑到以下数据:1 13 35 5 下一
列
(
y
)将添加5到
x
,并为
y
添加上一行<e
浏览 2
提问于2021-10-29
得票数 4
回答已采纳
1
回答
根据
另一个大小不同
的
数据替换选定
列
的
值
r
、
dataframe
、
dplyr
、
tidyverse
我对按特定
列
值
分组
的
数据帧
的
数值
列
进行了CV
计算
。然后
根据
得到
的
数据帧,替换了第一个数据帧
中
的
相关
列
值
。我通过使用if语句混合dplyr函数、merge函数
和
for循环来完成操作。我有三个数值
列
Column1、Column2
和
Column3,但在实际数据
中
它是> 500。然后,我
根据
<e
浏览 0
提问于2020-09-09
得票数 2
回答已采纳
1
回答
PySpark
DataFrames -使用不同类型
列
之间
的
比较进行过滤
python
、
apache-spark
、
pyspark
、
apache-spark-sql
假设您有一个具有各种类型
列
(string,double.)
的
dataframe以及在字符串类型
列
中表示“缺失
值
”
的
特殊
值
“想念”。pdf = pd.DataFrame([ [2, '
x
'],], columns=['intcol', 'strcol'])df = spark.cr
浏览 0
提问于2019-01-31
得票数 2
回答已采纳
1
回答
用字典连接vs映射,将新数据添加到Pandas/
PySpark
?
python
、
pandas
、
pyspark
我有一个大数据与天气
列
,可以采取5个不同
的
数值(晴天,多云,雨,雪
和
其他)。我必须添加另一
列
,更多
的
信息,完全取决于天气
值
(例如。如果是晴天,将
值
x
添加到新
列
,如果是阴天,则添加值
y
,.)。要么使用另一个具有天气
列
(此列上
的
join )
和
一个"new_data“
列
来添加这些新
值
(5行
和
2
列</
浏览 2
提问于2021-05-26
得票数 2
回答已采纳
1
回答
Pandas像以前一样填充
列
值
python
、
pandas
、
dataframe
如果满足条件,我有许多
列
必须保存前一行
的
值
。
Y
&Z
列
决定其他
列
的
值
。24 42100 11 25 17 26 45因此,基本上,如果
Y
的
值
为100,Z为10,则B
的
列
值
应从
先前
浏览 2
提问于2021-03-18
得票数 0
2
回答
多
列
条件计数SQL
asp.net
、
sql
、
ms-access
我正在尝试
计算
一行
中
4个单独
列
中
的
不同条目,然后
计算
结果
的
总和。例如,表头看起来像这样:每
列
(保存
ID
)可以具有文本
值
W、
X
、
Y
或Z。
列
可以具有相同
的
值
。我正在尝试做
的
是想出一种方法来
计算
列
浏览 0
提问于2012-05-15
得票数 3
回答已采纳
1
回答
忽略缺失
值
计算
pyspark
数据框
列
的
百分位数
pyspark
、
apache-spark-sql
我对
pyspark
是个新手。我有一个包含
ID
和
BALANCE
列
的
pyspark
数据框。我尝试将
列
balance存储到100% (1-100%)
的
存储桶
中
,并
计算
每个存储桶中有多少个in。我不能使用任何与RDD相关
的
东西,我只能使用
Pyspark
语法。Window.orderBy(df.BALANCE) test = df.withColumn('percentile_co
浏览 14
提问于2019-07-11
得票数 0
1
回答
Pyspark
dataframe:
计算
列
中
的
唯一
值
,与其他
列
中
的
值
独立协作。
python
、
python-2.7
、
pyspark
、
spark-dataframe
我有一个火花数据框架,包括从不同来源获得
的
两类分子、调节剂
和
目标之间相互作用
的
数十亿预测(这些分子之间没有重叠)。我需要添加一个
列
,其中包含预测给定
的
“调节器”
和
“目标”
的
至少一个交互
的
数字资源。换句话说,对于每一对“调节器”
和
“目标”,我试图获得包含“调节器”
和
“目标”
值
的
源数,即使不是在一个交互作用
中
成对。---+------+----------+ 进一步解
浏览 2
提问于2018-02-22
得票数 1
回答已采纳
0
回答
根据
列当前值更新
pyspark
中
的
列
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
假设给定一个DataFrame|
x
|
y
| z|| 3| 5| 9|+-----+-----+-----+ 我想将z
列
中
的
所有
值
与z
列
等于6
的
y
列
中
的
值
相乘。post使用下面的代码展示了我想要
的</em
浏览 2
提问于2017-01-01
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在df的一列中 有None和Nan 我想把这些空值都填充为-1 应该怎么操作呢
一文读懂PySpark数据框
一文读懂 PySpark 数据框
SQL语句建立索引不走索引的几种情况
pandas入门指南
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券