腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
基于列
值
的
数据
帧
分离为两
帧
、
、
我有一个
数据
框架,它有几个列和行。我想根据列
的
值
将它分割成两个
数据
帧
。假设我有三列:code、blood_cells、diabetes。代码
值
有以下形式:P_001, P_002, P_003, P_004...P_300,我想根据code列
的
范围将这个
数据
帧
分成两个
数据
帧
。
来自
P_001 to P_122和P_123 into P_300。这个是可能
的
吗?我<e
浏览 2
提问于2022-10-25
得票数 0
1
回答
将列有条件地添加到
数据
帧
中
、
、
、
、
我在
PySpark
中有一个
数据
帧
。我想有条件地在
数据
框架
中
添加一列。 如果
数据
帧
没有列,那么添加一个带有null
值
的
列。如果列存在,则不执行任何操作,并返回与新
数据
帧
相同
的
数据
帧
。
如何
在
PySpark
中
传递条件语句
浏览 6
提问于2017-01-20
得票数 0
回答已采纳
1
回答
如何
合并或连接spark
中
列号不相等
的
数据
帧
、
、
、
、
我正在做一个
使用
spark
的
项目。在某些阶段,我需要在单个
数据
帧
中
合并或连接3个
数据
帧
。这些
数据
帧
来自
spark sql表,我
使用
了联合函数,它已经合并了两个表
中
具有相同编号
的
列,但我也需要合并不相等
的
列
值
。我现在很困惑,有没有办法在
pyspark
中
合并或连接不相等
的
基于列<
浏览 13
提问于2016-09-22
得票数 0
1
回答
pyspark
:在比较给定列
的
值
时,从dataframe获取公共
数据
、
我有两个这样
的
pyspark
数据
帧
。df a)和name2 (
来自
df b)
的
值
匹配,我想获取
数据
帧
B
的
内容。o/p
数据
帧
|name2| id2|| a| 13|| c| 17|我希望避免
使用
collect()等计算开销很大
的
方
浏览 1
提问于2018-08-13
得票数 0
2
回答
如何
使用
来自
另一个
数据
帧
的
随机
值
更新
PySpark
中
的
数据
帧
?
、
、
、
我在
PySpark
中有两个
数据
帧
,如下所示: Dataframe A:总共1000条记录 +-----++-----+| b|+-----+Dataframe B:共3条记录 +-----++-----+|06901|+-----+ 我需要在Dataframe A
中
添加一个名为Zip
的
新列,并
使用
从Dataframe B
中
随机
选择
的
浏览 12
提问于2021-02-10
得票数 2
回答已采纳
1
回答
在
pyspark
中
,将
值
随机
更改为空
值
的
最有效方法是什么?
、
、
尝试弄清楚
如何
用空
值
随机
替换
Pyspark
中
的
特定列。因此,像这样更改
数据
帧
: | A | B || 1 | 2 || 5 | 6 || 9 | 10 ||----|--
浏览 29
提问于2020-09-18
得票数 2
回答已采纳
1
回答
在Databricks中
使用
Pyspark
更新
数据
库表
、
、
、
我在Azure SQL Server
数据
库中有一个表,该表是从我
的
Dataframe填充
的
。我想
使用
pyspark
/ pandas基于多条件
数据
库来
更新
这个表。我是
PySpark
/ Databricks / Pandas
的
新手,有人能告诉我
如何
更新
表吗?我已经将
数据
插入到表
中
-我可以想到
的
一种解决方案是将表<em
浏览 2
提问于2020-04-20
得票数 0
1
回答
从db
中
读取阿拉伯文本,并以s3格式存储
、
、
、
我有一个
pyspark
脚本,它读取mysql
数据
,其中包含
数据
帧
中
的
列
值
,并以aws s3格式存储
数据
,但是在
使用
aws雅典娜查询时,它显示
的
是一些
随机
文本,而不是阿拉伯文。我做错了什么。,
如何
将其转换为阿拉伯语。 当我
使用
pyspark
从mysql读取
数据
时,我得到
的
数据
格式是:“am‘§”
浏览 1
提问于2018-12-05
得票数 1
回答已采纳
1
回答
将多个
PySpark
DataFrames与MergeSchema合并
、
、
我想将多个
PySpark
数据
帧
合并到一个
PySpark
数据
帧
中
。它们都
来自
相同
的
模式,但是它们可能会有所不同,因为有时会缺少一些列(例如,模式通常包含200个具有已定义
数据
类型
的
列,其中dataFrame A有120列,dataFrame B有60列)。是否有可能在不写入和读取所有
数据
帧
的
情况下再次
使用
mergeSchema合并
浏览 2
提问于2020-06-22
得票数 0
1
回答
如何
使用
Pyspark
/SQL/DataFrames SPARK RDD来插入/删除DB2源表
数据
?
、
、
、
我尝试运行upsert/delete命令来插入/删除DB2
数据
库源表
中
的
一些
值
,这是DB2上
的
一个现有表。是否可以
使用
Pyspark
/Spark SQL/Dataframes。
浏览 2
提问于2019-05-10
得票数 0
1
回答
spark是否提供了一种生成64位
随机
盐
的
方法?
、
我正在
使用
Pyspark
,并希望生成
随机
加密盐作为我
的
数据
帧
中
的
一个附加列。我想用它来为我
的
数据
生成Hash或一种保留加密密码
值
的
格式。Spark dataframe API
中
是否有生成加密盐
的
最佳实践?
浏览 2
提问于2018-05-30
得票数 0
2
回答
如何
检查
来自
不同
数据
帧
的
列
值
?
、
、
、
我有两个
pyspark
数据
帧
,我想检查第一个
数据
帧
列
值
是否存在于第二列dataframe.If第一个
数据
帧
列
值
不存在于第二个
数据
帧
列
中
,我需要确定这些
值
并将其写入list.Is有没有更好
的
方法来
使用
pyspark
感谢您
的
回复。 df[Name].show()Oracle
浏览 37
提问于2020-09-03
得票数 0
回答已采纳
1
回答
Spark
使用
前一行
中
的
值
向dataframe添加新列
、
、
、
、
我想知道
如何
在Spark (
Pyspark
)
中
实现以下内容+--+---++--+---++--+---++--+---++--+---++--+---++--+---+-------++--+---+-------++--+---+-------+
浏览 50
提问于2015-12-16
得票数 38
回答已采纳
1
回答
Pandas:嵌套
数据
帧
、
、
你好,我想将一个
数据
帧
存储在
另一个
数据
帧
单元
中
。我有一个看起来像这样
的
数据
当我希望在一个
数据
帧</e
浏览 4
提问于2018-07-25
得票数 10
回答已采纳
2
回答
R:
如何
用
另一个
数据
帧
的
随机
抽样行替换
数据
帧
中
的
有条件行?
我需要有条件地将
数据
帧
(x)
中
的
行替换为从
另一个
数据
帧
(Y)
中
随机
选择
的
行,两个
数据
帧
之间
的
行
的
.Some是相同
的
,因此
数据
帧
x将包含具有重复信息
的
行。要实现这一点,我需要什么样
的
基本r代码?我在r
中
编写了一个基于代理
的
模
浏览 3
提问于2019-03-25
得票数 0
回答已采纳
2
回答
pyspark
数据
帧
中所有列
的
总计数为零
、
、
我需要找出
pyspark
dataframe中所有列
中
0
的
百分比。
如何
在
数据
帧
中找到每一列
的
零计数? 附言:我尝试过将
数据
帧
转换为pandas
数据
帧
,并
使用
了value_counts。但是,对于大型
数据
集来说,推断它
的
观察
值
是不可能
的
。
浏览 0
提问于2018-08-20
得票数 4
1
回答
Spark SQL
更新
/删除
、
、
、
、
目前,我正在做一个
使用
pySpark
的
项目,它读取一些Hive表,将它们存储为
数据
帧
,并且我必须对它们执行一些
更新
/过滤。我正在不惜一切代价避免
使用
Spark语法来创建一个框架,该框架只接受参数文件
中
的
SQL,该参数文件将
使用
我
的
pySpark
框架运行。现在
的
问题是,我必须在我
的
最终
数据
帧
上执行<em
浏览 7
提问于2019-11-15
得票数 1
1
回答
从
PySpark
运行大量配置单元查询
、
、
、
我想要执行大量
的
配置单元查询,并将结果存储在
数据
帧
中
。我有一个非常大
的
数据
集,结构如下:| visid_high,它
使用
每一行作为二级查询
的
输入:for session in sessions.collect()[:100]: query = "
浏览 5
提问于2018-07-23
得票数 0
1
回答
当我们不知道
数据
帧
的
大小时,我们
如何
从
PySpark
中
的
大量
数据
中
快速采样?
、
、
我有两个
pyspark
数据
帧
tdf和fdf,其中fdf比tdf大得多。这些
数据
帧
的
大小每天都在变化,我不知道它们
的
大小。我想从fdf
中
随机
挑选
数据
来组成一个新
的
数据
帧
rdf,其中rdf
的
大小大约等于tdf
的
大小。= fdf.count() sampling_fraction = float(tdf) / float(f
浏览 15
提问于2021-01-30
得票数 0
回答已采纳
1
回答
使用
来自
另一个
数据
帧
的
条目过滤一个
pyspark
数据
帧
、
、
我有两个
数据
帧
,其中一个
来自
必须过滤Category
的
地方,
另一个
来自
它所做
的
条件过滤。dataframe_1,我必须从满足dataframe_1
中
给定条件
的
dataframe_2
中
过滤出Category02我知道在
pyspark
浏览 0
提问于2021-09-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
深度Q学习:一步步实现能玩《毁灭战士》的智能体
深度Q学习带你一步步实现能玩《毁灭战士》的智能体
【攻克Dota2基础算法】讲讲深度Q学习
pandas系列学习(五):数据连接
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券