腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何
删除
PySpark
数据
帧
中
字符串
中
的
特定
字符
?
dataframe
、
apache-spark
、
pyspark
、
apache-spark-sql
我想
删除
列中值
的
最后两个
字符
。
PySpark
数据
帧
的
值如下所示: 1000.03000.01250...
浏览 51
提问于2021-02-11
得票数 1
回答已采纳
1
回答
如何
将spark dataframe
中
的
String类型列转换为Pandas dataframe
中
的
String类型列
pandas
、
apache-spark
、
pyspark
我有一个从熊猫
数据
帧
创建
的
样本spark
数据
帧
-from
pyspark
.sql.types import StringType spark = SparkSessiondf.print
浏览 3
提问于2020-09-09
得票数 0
2
回答
在
中
过滤数组
python
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
火花版本: 2.3.0 Array Col['strawberry', 'raspberry'] ['apple', 'pineapple', 'grap
浏览 3
提问于2021-10-01
得票数 1
回答已采纳
1
回答
将变量加载到
数据
帧
中
python
、
apache-spark
、
pyspark
、
apache-spark-sql
在
PySpark
中
,我尝试从
字符串
变量加载
数据
帧
。我
的
变量是一个多行文本.. string_data = """ david|23|London john|56|Goa """ 我想将这些
数据
加载到
PySpark
中
的
数据
帧
中
。我想使用
浏览 7
提问于2021-02-02
得票数 0
1
回答
给定一个类似csv
的
字符串
,
如何
加载到Spark dataframe
中
?
apache-spark
、
pyspark
我有一个
字符串
,格式与csv相同,第一行为列名,其余记录为
数据
。
如何
使用
pyspark
将此
字符串
加载到
数据
帧
中
。
浏览 0
提问于2021-03-07
得票数 0
1
回答
跨多列搜索子
字符串
apache-spark
、
pyspark
我正在尝试使用
PySpark
在spark
数据
帧
的
所有列
中
查找一个子
字符串
。我目前知道
如何
使用filter通过一列搜索子
字符串
,并且包含: df.filter(df.col_name.contains('substring'))
如何
扩展这条语句或利用另一条语句在多个列
中
搜索子
字符串
匹配
浏览 21
提问于2019-10-17
得票数 0
回答已采纳
2
回答
去掉数组元素
中
的
子串,重复
pyspark
apache-spark
、
pyspark
、
pyspark-sql
、
pyspark-dataframes
我有一个
pyspark
数据
帧
:---------------------------------------------------------------------------------------- 在matricule数组
中
,如果我
删除
AZ
字符串
,
浏览 28
提问于2020-02-26
得票数 2
回答已采纳
2
回答
优化
PySpark
与pandas DataFrames之间
的
转换
pandas
、
pyspark
、
apache-spark-sql
、
azure-databricks
、
pyarrow
我有一个13M行
的
pyspark
数据
帧
,我想把它转换成pandas
数据
帧
。然后,将根据其他参数以不同
的
频率(例如1秒、1分钟、10分钟)对
数据
帧
进行重新采样以进行进一步分析。从文献[,]
中
,我发现使用以下任何一行都可以加快
pyspark
到pandas
数据
帧
之间
的
转换: spark.conf.set("spark.sql.executio
浏览 11
提问于2021-11-19
得票数 0
1
回答
从
PySpark
中
的
复杂列中提取值
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
PySpark
数据
帧
,它有一个复杂
的
列,请参考下列值:1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}] 我想在
PySpark
dataframe
中
添加一个新列,它基本上将它转换为一个
字符串
列表。如果Label为n
浏览 0
提问于2021-02-09
得票数 0
1
回答
字符串
中
的
Pyspark
双
字符
替换避免未映射到pandas或rdd
的
特定
单词
python
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
我继承了一个修改
pyspark
dataframe中一些
字符串
的
程序。其中一个步骤涉及从
字符串
中
的
一些单词
中
删除
双/三/等字母,以及一个额外
的
例外列表,即使它们有重复
的
字母也会保持不变。目前,这是通过将dataframe转换为具有udf
的
pandas,然后在读回
pyspark
之前对生成
的
pandas dataframe
中
<em
浏览 7
提问于2021-03-15
得票数 0
回答已采纳
2
回答
PySpark
列向绑定
pyspark
在
PySpark
中有什么
特定
的
方法可以像我们在r
中
那样绑定两个
数据
帧
吗? 我需要在
PySpark
中
同时绑定
数据
帧
和作为一个
数据
帧
。
浏览 1
提问于2017-08-30
得票数 3
7
回答
如何
从包含
特定
列
中
特定
字符串
的
熊猫
数据
框架
中
删除
行?
python
、
pandas
我在python中有一个非常大
的
数据
框架,我希望
删除
特定
列
中
具有
特定
字符串
的
所有行。 例如,我希望
删除
数据
帧
的
C列中将
字符串
"XYZ“作为子
字符串
的
所有行。
浏览 7
提问于2015-02-23
得票数 169
回答已采纳
1
回答
如何
在控制台上打印spark
数据
框名称
apache-spark
、
pyspark
我是spark
的
新手。我们有没有内置
的
函数来打印刚才
的
数据
框名称?
浏览 6
提问于2020-02-17
得票数 0
回答已采纳
2
回答
删除
与
特定
字符串
对应
的
行,但保留NA值。
r
、
subset
、
na
当
特定
列
中
的
行对应于一个
字符串
时,我希望
删除
数据
帧
中
的
所有行,但保留NAs: 当
数据
的
第一列具有名为" string“
的
字符串
值时,将
删除
数据
帧
中
的
所有行。但是我
的
第一列也有缺失
的
值-- NA s,所以当我使用df <-
浏览 1
提问于2020-09-13
得票数 1
回答已采纳
1
回答
Pyspark
删除
多列连接后
的
列
python
、
join
、
pyspark
我尝试在
pyspark
中
对两列进行左连接,其中只有一列
的
名称是相同
的
:
如何
删除
连接
的
数据
帧
df2.date和df2.accountnr
的
两列 dfAll = ( .join(df2, how = 'left') )
浏览 30
提问于2019-02-10
得票数 0
1
回答
Pandas如果列包含
字符串
,则从另一列获取唯一值并从dataframe
中
删除
行
python
、
pandas
、
dataframe
我有这个有7列
的
数据
帧
。其中两个是'IP‘和'URL’。这是一个网络日志
数据
集,所以我尝试获取行
的
唯一IP,其中URL包含
字符串
"robots.txt“,然后如果应用此条件,则从dataframe
中
删除
唯一IP
的
行。len(robots[['ip']].drop_duplicates()) 但在那之后,我不知道
如何
从datafra
浏览 2
提问于2021-03-13
得票数 0
1
回答
在Databricks中使用
Pyspark
更新
数据
库表
python
、
pandas
、
pyspark
、
databricks
我在Azure SQL Server
数据
库中有一个表,该表是从我
的
Dataframe填充
的
。我想使用
pyspark
/ pandas基于多条件
数据
库来更新这个表。我是
PySpark
/ Databricks / Pandas
的
新手,有人能告诉我
如何
更新表吗?我已经将
数据
插入到表
中
-我可以想到
的
一种解决方案是将表
中
的
数据</em
浏览 2
提问于2020-04-20
得票数 0
1
回答
PySpark
:将时间戳添加到日期列并将整个列重新格式化为时间戳
数据
类型
python
、
date
、
pyspark
、
timestamp
、
reformat
在
PySpark
中
,下面有下面的示例
数据
框架。该列当前是一个日期
数据
类型。scheduled_date_plus_one12/7/2018scheduled_date_plus_one2018-12-07T02:00:00Z
浏览 5
提问于2018-12-14
得票数 1
1
回答
如何
从
pyspark
中
删除
数据
帧
来管理内存?
python
、
apache-spark
、
memory
、
pyspark
我列出我
的
数据
帧
以丢弃未使用
的
数据
帧
。首先,我使用下面的函数列出了我在其中一篇文章中找到
的
数据
帧
然后我试着从列表
中
删除</
浏览 0
提问于2018-10-31
得票数 4
回答已采纳
4
回答
从R值之间
的
字符串
中提取
数据
帧
r
、
string
我正在R
中
做一些编码,我正在处理一些
数据
帧
被编码为单个
字符串
的
情况,并且需要能够从
字符串
中
恢复
数据
帧
。
字符串
的
形式如下:分隔符|分离
数据
帧
的
行,分隔符^用数字值从列中分离
字符
值
的
列。(为了简化这个问题,请注意,这些符号只以分隔符
的</em
浏览 7
提问于2020-03-01
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python中的字符串和字符数据(下)
Python中的字符串和字符数据(上)
python中如何将字符串连接在一起,多倍的字符串如何输出
EXCEL中如何使用VLOOKUP函数提取单元格字符串中的数值
用函数如何判断单元格中的字符串是否全是字母字符
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券