腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
分隔符
将
多个
列
合
并为
新
的
列
Spark
R
数据
帧
r
、
apache-spark
、
sparkr
使用
了两种语法,它们都不起作用。1) df_final$concat <- paste(df_final$A,df_final$B,df_final$C,sep="/") 错误-没有将此S4类强制转换为向量
的
方法 2) df_final所有
列
都包含字符串。
浏览 10
提问于2020-10-09
得票数 0
回答已采纳
1
回答
如何忽略CSV文件中
数据
中
的
双引号
csv
、
pyspark
、
delimiter
我
的
数据
中有“(单引号),即使我
使用
了
分隔符
值,所有相应
的
列
值都会合
并为
一
列
。”在我
的
例子中,‘\“是我
的
分隔符
。实际
数据
:预期输出:实际输出:我尝试了以下方法:df=
spark
.read.csv(filepath,header=True,sep='
浏览 11
提问于2021-12-16
得票数 0
1
回答
如何在pandas中根据
多个
分隔符
将
列
中
的
数据
拆分成
多个
列
python
、
pandas
我有一个只有一
列
名为'ALL_category‘
的
数据
帧
。一行中有
多个
名称,范围在1到3之间,并以
分隔符
'|‘、'||’或‘|’分隔,它们可以位于每行中单词
的
开头、中间或结尾。我希望将该
列
拆分为
多个
列
,以便
新
列
包含名称。我该怎么做呢?下面是生成
数据
帧
的
代码: x = {'ALL Categ
浏览 54
提问于2020-01-22
得票数 0
2
回答
如何在
spark
中读取带有
多个
分隔符
的
CSV文件
apache-spark
、
apache-spark-sql
我正在尝试
使用
spark
1.6读取CSV文件 s.no|Name$id|designation|salry .option("header","true") .load("path") 如果我添加了带有$ it抛出错误
的</em
浏览 148
提问于2020-04-06
得票数 1
1
回答
为什么"groupBy agg count alias“不创建
新
列
?
apache-spark
、
hadoop
、
apache-spark-sql
alias("count")) .limit(3)它在以下行失败:.orderBy(df("count").desc),说明没有这样
的
列
浏览 2
提问于2018-11-08
得票数 0
2
回答
函数
将
R
类型转换为星点类型。
r
、
apache-spark
、
dplyr
、
sparklyr
、
livy
我有一个
R
数据
框架,我想把它转换成远程集群上
的
星火
数据
帧
。我已经决定将我
的
数据
框架写到一个中间
的
csv文件中,然后
使用
sparklyr::
spark
_read_csv()读取该文件。我这样做是因为
数据
帧
太大,不能直接
使用
sparklyr::sdf_copy_to()发送(我认为这是由于Livy中
的
限制)。我想通过编写一个函数来编程地
将</
浏览 0
提问于2019-03-28
得票数 0
回答已采纳
1
回答
使用
SparkR向
Spark
dataframes添加包含函数值
的
列
r
、
apache-spark
、
data-science
、
sparkr
我正在
使用
SparkR来处理一些在其技术堆栈中包含
R
和
spark
的
项目。sdf1$result <- sdf1$value == sdf2$value 问题是当我必须比较两个不同长度
的
数据
帧
时。
使用
函数
浏览 3
提问于2017-05-18
得票数 0
4
回答
PySpark
数据
帧
将
列
熔化为行
python
、
dataframe
、
pyspark
、
aggregate
、
melt
正如本主题所描述
的
,我有一个PySpark
数据
帧
,需要将三
列
合
并为
行。每一
列
本质上代表一个类别中
的
一个事实。最终目标是
将
数据
聚合到每个类别的单个总计中。此
数据
帧
中有数千万行,因此我需要一种在
spark
集群上执行转换
的
方法,而无需将任何
数据
带回驱动程序(在本例中为Jupyter)。以下是我
的
数据
框架摘录,仅供几家
浏览 7
提问于2019-03-27
得票数 5
回答已采纳
1
回答
如何在scala中将seq[row]转换为
数据
帧
scala
、
dataframe
有没有什么方法可以转换Seq 行 转换为scala中
的
数据
帧
。我有一个
数据
帧
和一个字符串列表,它们具有输入
数据
帧
中每一行
的
权重。我想构建一个dataframe,它将包括所有具有唯一权重
的
行。我能够过滤唯一
的
行并附加到seq 行 但我想建立一个
数据
框架。这是我预先编写
的
代码.Thanks。=null) { input.collect().foreach((
r</e
浏览 101
提问于2021-03-01
得票数 0
回答已采纳
1
回答
Spark
Dataframe:行对象
分隔符
scala
、
apache-spark
、
spark-dataframe
你好,我正在
使用
spark
dataframe和scala进行一些
数据
处理,我有一个需求,我需要读取
多个
具有相同
数据
类型
的
列
,即从拼图文件中读取结构类型,以处理和创建具有与结构类型字段相同
的
模式
的
新
数据
帧
,即field1,field2和field3,并
使用
下面示例中显示
的
所有
列
的
数据
填充<em
浏览 3
提问于2016-04-08
得票数 0
1
回答
根据多
列
将
一行拆分为多行
apache-spark
、
dataframe
我在
spark
里有一个
数据
帧
:--------------------------------------------- B | 3,5 | 5,8 | 18,40 这里
的
所有
列
都是如何跨
多个
列
使用
explode函数并创建一
浏览 2
提问于2018-06-08
得票数 0
1
回答
我是否可以
将
StructuredStreaming中
的
值
数据
从Kafka转换成实际
的
列名?
scala
、
apache-spark
、
apache-kafka
、
spark-structured-streaming
我有一个csv文件,其中包含
列
,为了测试目的,我手动将它推送给Kafka,然后将它读入
Spark
,并应用一些解析,
并为
测试目的做控制台输出。现在,我了解了csv
数据
在结构化流中是作为值流
的
,为此我将其转换为String。我
的
要求是,是否可以
将
值
数据
转换为实际
列
。csv文件中有数百
列
,但我只查看两个特定
列
"SERVICE_NAME8“& "_raw” 当我从路径读取csv文
浏览 0
提问于2019-04-20
得票数 0
2
回答
将
Spark
Dataframe每行转换为scala中每个
列
值之间带有
分隔符
的
字符串
scala
、
apache-spark-sql
我想将每行
的
Spark
Dataframe转换为一个字符串,每个
列
值之间有一个
分隔符
。我想创建一个
新
的
dataframe,只有一个
列
,其中包含如下所示
的
数据
。
浏览 0
提问于2016-11-01
得票数 2
回答已采纳
1
回答
将
单列拆分成多
列
r
、
regex
我需要将一个
数据
帧
拆分为
多个
列
,以确保每个单元格中只包含一个值。当前
数据
帧
如下所示: projectid| count | Name | Type | count | DBG | 90 | jill | Plum | single |
新
<em
浏览 29
提问于2019-05-01
得票数 0
回答已采纳
1
回答
使用
R
中
的
分隔符
将
长度可变且无模式
的
文本
列
拆分为
多个
列
r
、
split
、
tidyr
、
strsplit
我有大约13
列
和20,000行
数据
。其中一
列
具有描述细节。Description列有一个或
多个
使用
分隔符
分隔
的
值,如“、”、"-“、"/”、"&“。需要根据
使用
的
不同
分隔符
将
描述
列
拆分为
多个
列
。这是我尝试过
的
代码片段。但它不起作用。as.character(df$SHORT_DES
浏览 27
提问于2021-06-18
得票数 0
回答已采纳
2
回答
PySpark
数据
帧
的
最佳实践-删除
多个
列
?
python
、
dataframe
、
apache-spark
、
pyspark
假设有人想要从
数据
帧
中删除一
列
。可以在不创建
新
数据
帧
的
情况下做到这一点吗?看起来创建一个
新
的
数据
帧
更安全,更正确,对吗?通过重用如上所述
的
数据
帧
可能会遇到什么问题?如果重用
数据
帧
是一种糟糕
的
做法,假设有人想要删除几个与模式匹配
浏览 21
提问于2019-11-22
得票数 0
2
回答
如何合并同一
数据
帧
的
多
列
python
、
pandas
如何
将
多个
列
值合
并为
同一
数据
帧
的
一
列
,并获得具有唯一值
的
新
列
。
浏览 1
提问于2018-09-21
得票数 2
3
回答
删除
spark
数据
帧
中重复
的
所有记录
scala
、
apache-spark
、
duplicates
、
apache-spark-sql
、
spark-dataframe
我有一个包含
多个
列
的
spark
数据
帧
。我想找出并删除
列
中有重复值
的
行(其他
列
可以是不同
的
)。我尝试
使用
dropDuplicates(col_name),但它只删除重复
的
条目,但仍然在
数据
帧
中保留一条记录。我需要
的
是删除所有最初包含重复条目的条目。我
使用
的
是
Spark
1.6和
浏览 4
提问于2018-04-10
得票数 5
回答已采纳
2
回答
过滤
数据
库
的
数据
库设计
sql-server
、
sql-server-2005
、
database-design
我对复杂
的
数据
库设计很陌生。我目前正在一个项目中,用户应该能够根据18
列
的
组合检索指令。,他可以在上述每个参数中选择
多个
选项。存储过程将以所有可能
的
组合存储
数据
,以便方便检索,因为在搜索(检索)期间,将在每个
列
中只选择一个选项。 对于同一组
合
可以有
多个
指令,而同一指令可以应用于
多个
组合。我以某种方式创建了SP来添加指令,但现在我受到了修改
的
打击。当我
的
网页
浏览 2
提问于2009-12-02
得票数 0
1
回答
在
R
中拆分列-只是不能工作
r
这是我工作
的
R
语言:No transportationNo Money | Don&
浏览 1
提问于2018-04-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
年薪50万+的大数据工程师需要具备哪些技能?
EXCEL中如何拆分单元格?
R的数据类型:向量与数据框
pandas系列学习(五):数据连接
微软 Office 将上线 14个Excel 函数,用于协助操作文本和数组
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券