腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如
何在
pyspark
dataframe
中
拆分
一列
并
保留
其他
列
?
、
、
split into split_e_cols# I hope the result
dataframe
has keep_cols + split_res_cols 我想
拆分
列 分成多
列
并
保留
列
和 同时。range(len(len(split_e_col
浏览 139
提问于2021-03-01
得票数 1
回答已采纳
1
回答
使用map函数将Spark
Dataframe
转换为RDD
、
、
我正在尝试将spark数据框
中
的
列
拆分
为多个值。因此,我分隔了要
拆分
的
列
,
并
检查了其类型:O:
pyspark
.sql.
dataframe
.
DataFrame
O:
pyspark
.rdd.PipelinedRDD 如
何在
拆分
此列
浏览 0
提问于2016-06-22
得票数 0
2
回答
如
何在
pyspark
中
合并重复的
列
?
、
、
我有一个
pyspark
dataframe
,其中一些
列
具有相同的名称。我想将具有相同名称的所有
列
合并到
一列
中
。例如,输入
dataframe
: ? 我如
何在
pyspark
中
做到这一点?
浏览 57
提问于2021-06-18
得票数 2
回答已采纳
1
回答
操作具有不同开始日期的时间序列
、
现在,我想通过将这两个序列索引到2002年(我第一次拥有这两个序列的数据)来比较这两个序列的累积增长,
并
计算比率。 做这件事最好的方法是什么?
浏览 19
提问于2019-09-25
得票数 0
2
回答
将
dataframe
中
的
列
拆分
为包含文本而不是数字的
列
和包含R
中
没有文本的数字的
列
、
、
more from others","","","")df<-cbind.data.frame(a,b,c)我想
保留
数据预期产出:我认为有意义的是以下几点: 从步骤1到新的
dataframe
的子集
列
,让我们调用这个df
浏览 3
提问于2022-02-02
得票数 0
1
回答
如何根据行的内容
拆分
pyspark
数据
、
、
、
、
我想根据
DataFrame
中一行的第一个字符来分割文件。原始数据有
一列
,数据包括输入样例文件(
Pyspark
):我想要一个
DataFrame
文件名作为数据的分割。文件名放在
DataFrame
的column2
中
浏览 3
提问于2019-10-10
得票数 1
回答已采纳
1
回答
如
何在
pyspark
中使用pandas_udf
拆分
dataframe
中
的字符串
、
、
我只有
一列
的
dataframe
。我想使用
pyspark
中
的pandas_udf
拆分
字符串。因此,我有以下代码: from
pyspark
.sql.functions import pandas_udf, PandasUDFType def split_msg
浏览 17
提问于2019-10-03
得票数 0
回答已采纳
2
回答
pyspark
数据帧中所有
列
的总计数为零
、
、
我需要找出
pyspark
dataframe
中所有
列
中
0的百分比。如
何在
数据帧中找到每
一列
的零计数? 附言:我尝试过将数据帧转换为pandas数据帧,
并
使用了value_counts。
浏览 0
提问于2018-08-20
得票数 4
1
回答
在CSV文件
中
处理JSON对象
并
保存到
PySpark
DataFrame
、
、
、
、
我有一个CSV文件,它包含JSON对象以及
其他
数据,比如String,Integer。如果我尝试将文件读取为CSV,那么JSON对象将在
其他
列
中
重叠。from
pyspark
.sql.types import *# Initializing SparkSession and setting up theoptions(header="true", delimiter = ',', inferschema=
浏览 2
提问于2020-09-23
得票数 1
1
回答
在
PySpark
中
连接列表
在我的Spark
Dataframe
中
,有
一列
是字符串"1 1 1 1 0 0 0 0 0""1 1 1 1 0 0 0 0 0""1 1 1 1 0 0 0 0 0"我希望从这
一列
的每一行
中
收集字符串,
并
通过连接创建一个单
浏览 3
提问于2018-07-23
得票数 0
3
回答
移除化工厂
中
列
中
的逗号。
、
、
、
我的
DataFrame
中有两个
列
,第
一列
和第二
列
。两
列
都包含空单元格。
中
每一行的TF。为此,我将每行
中
的字符串列表
拆分
为基于逗号的单词列表。我查看了以下删除, 的链接,
并
尝试了它移除逗号,但之后我无法根据逗号进行
拆分
。from
pyspar
浏览 5
提问于2017-10-23
得票数 0
回答已采纳
2
回答
将Numpy数组加载到单个Pandas
DataFrame
列
、
、
、
、
我正在使用
PySpark
并
尝试使用CSV来存储我的数据。我将我的Numpy数组转换为
DataFrame
,格式如下: label | 0 1 2 4 ... 768 1 | 0.12 0.23 0.31 0.72 ... 0.91 依此类推,将数组
中
的“行向量”本身的每个值
拆分
为单独的
列
。该格式与Spark不兼容,它需要在
一列</
浏览 18
提问于2020-10-01
得票数 1
2
回答
如
何在
pyspark
dataframe
中
返回空值的行?
、
、
我正在尝试从
pyspark
dataframe
中
获取空值的行。在pandas
中
,我可以在数据帧上使用isnull()来实现这一点:但在
PySpark
的情况下,当我运行以下命令时,它显示Attributeerror:AttributeError:'
DataFrame
‘对象没有属性'isNull’。如
何在
不对每
一列
进行检查
浏览 25
提问于2018-11-27
得票数 5
1
回答
如
何在
postgres驱动程序中使用nextval()?
、
、
、
、
在Postgres
中
,我有一个名为"mytable“的表,其中有两个
列
,id (bigint)和value (varchar(255))。id使用nextval('my_sequence')从序列
中
获取其值。
PySpark
应用程序接受一个
dataframe
并
使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“
中
。我可以看到,在读取数据()时可以调用Postgres方法,但我不确定如何调
浏览 0
提问于2018-01-21
得票数 2
回答已采纳
1
回答
如何对
pyspark
dataframe
列
应用函数
、
、
我正在尝试将我的pandas代码转换为
pyspark
dataframe
,
并
尝试在
dataframe
的
一列
上应用函数。我在pandas
dataframe
中
做了一些如下的事情。在操作了几个
列
值之后,将新
列
添加到pandas数据帧
中
,如下所示。return USD_amount salesData['Sales (INR)'] = salesData.apply(convert_USD_INR,
浏览 15
提问于2020-01-03
得票数 1
回答已采纳
2
回答
在
pySpark
中
按条件分割数据
、
、
、
我有一个
dataframe
值为false、true或null。我想创建两个dataframes,1)只使用True列名,2)只使用假列名。我是
pySpark
新手,我想知道如
何在
不硬编码任何列名(我有几百
列
)的情况下做到这一点,我知道我不能遍历行,因为这样做会违背
pySpark
的目的。每
一列
将只有一个boolen -一个T或F,因此每
列
多个空。我尝试使用.filter,但它只过滤了
一列
,它实际上打印了
其他
所有
列
,而不是
浏览 3
提问于2020-05-07
得票数 1
回答已采纳
1
回答
用电火花将稠密向量转换成数据
、
、
、
首先,我尝试了下面链接
中
的所有内容来修复我的错误,但是没有一个有效。 我正试图将密集向量转换为
dataframe
(最好是星火),
并
附带列名
并
遇到问题。我在
中
的
列
是使用创建的一个向量,现在我想将它转换回一个
dataframe
,因为我想在向量
中
的一些变量上创建图。转换为Pandas
dataframe
,之后我无法将值
拆分
为不同的
列
。,但是我的
dataframe
中
仍
浏览 0
提问于2018-09-27
得票数 3
回答已采纳
1
回答
将架构推断为
DataFrame
pyspark
、
、
、
我见过许多针对scala或
其他
类型文件的解决方案。但如何推断模式,以加载
DataFrame
,一个csv文件,在python
中
与
pyspark
。df = spark.read.csv('dataset.csv') 如果我检查模式,所有
列
都是字符串。我可以
一列
一列
地更改,但我想还有更好的方法。
浏览 6
提问于2021-04-09
得票数 0
1
回答
动态
列
.withColumn Python
DataFrame
、
、
、
、
我想在我的星火
DataFrame
上动态地应用. list
中
的列名。from
pyspark
.sql.functions import col 现在,我想动态地对list matches
中
的每
一列
执行下面的操作 partyaddre
浏览 3
提问于2020-04-21
得票数 1
回答已采纳
2
回答
在
dataframe
上用逗号替换点
、
我有一个大型的
dataframe
,它结合了来自多个excel (xlsx)文件的数据。问题是每
一列
带有十进制值的
列
都用点分隔,我需要用逗号替换每个点。我已经尝试过使用替换函数,但是一些
列
也包含字符串值。因此,我的问题是,如
何在
dataframe
中
的每
一列
上用逗号替换点,
并
保留
字符串值?A栏:无数据(保存)
浏览 4
提问于2022-10-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
一文读懂PySpark数据框
Python开源数据分析工具TOP 3!
一文读懂 PySpark 数据框
机器学习之计算工具库(三)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券