腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
在
spark
dataframe
中
创建
子
字符
串列
、
、
我想要获取一个json文件并对其进行映射,以便其中一列是另一列的
子
字符
串。----| -> |------------|---------| |hello, world| |hello, world| hello | 我可以使用
spark
-sql
浏览 59
提问于2017-03-16
得票数 15
回答已采纳
2
回答
Spark
2.0,
DataFrame
,筛选
字符
串列
,不等运算符(!==)已弃用
、
我正在尝试过滤
DataFrame
,只保留那些具有特定
字符
串列
的行不为空。df.filter($"stringColumn" !== "")如何检查
Spark
> 2.0
中
的
字符
串列
值是否为空?
浏览 1
提问于2016-10-20
得票数 22
回答已采纳
3
回答
如何在
spark
2.0
中
使用sql获取正确的
子
字符
串
例如,如果我有一个像"2.450“这样的
字符
串列
值,我想从该列
中
获得正确的2个
字符
"50”,如何使用
spark
2.0.1
中
的sql获取它。0.1我正在从
dataframe
创建
的视图上运行我的sql mydf.createOrReplaceTempView("myview");
浏览 3
提问于2016-10-19
得票数 4
回答已采纳
2
回答
如何从list[String]
中
获取
DataFrame
、
我
在
HDFS中有一个文本文件,其中包含一个ids列表,我想将这些ids作为
字符
串列
表读取。当我这么做的时候我得到了一个Listorg.apache.
spark
.sql.Row。如何将此文件读入
字符
串列
表?
浏览 0
提问于2018-03-28
得票数 0
回答已采纳
2
回答
如何在Apache
Spark
中
根据分隔符将单
字符
串列
转换为多列
、
、
我有一个包含
字符
串列
的数据框,我想在其中
创建
多个列。 我想从它
创建
多个列。
字符
串的格式是相同的- col1:value1 col2:value2 col3:value3 ... colN:valueN。
在
输出
中
,我需要多个列- col1 to colN,值作为每列的行。以下是输出-我如何在
spark
中
做到这一点?Scala或Py
浏览 23
提问于2021-06-02
得票数 0
回答已采纳
1
回答
如何搜索Pyspark列
中
的
字符
串,并有选择地用变量替换某些
字符
串(包含特定的
子
字符
串)?
、
、
、
我
在
中有一个列,它包含一个
字符
串列
表。我希望做以下工作,但不知道如何做到: [2, ["CANMA", "FELCAT",
浏览 0
提问于2021-11-10
得票数 0
回答已采纳
2
回答
如何将
Spark
Dataframe
的时间戳列转换为
字符
串列
、
我想把
Spark
dataframe
所有的时间戳列转换成
字符
串列
。有人能告诉我如何为每个数据帧自动做到这一点吗?因此,我需要在任何给定表中使用有关列类型的信息,并将其转换为
字符
串列
。
浏览 66
提问于2019-11-08
得票数 1
1
回答
到目前为止的
spark
dataframe
列
字符
串
、
、
我想用
spark
session (
spark
) -而不是
spark
context将
spark
dataframe
字符
串列
'yyyyMMdd‘转换为日期格式。因为我没有使用
spark
context (sc),所以我不能使用以下代码,尽管它可以精确地完成我希望它做的事情:.withCo
浏览 4
提问于2019-03-26
得票数 2
1
回答
spark
2.x正在使用csv函数将整型/双精度列作为
字符
串读取
、
、
、
我正在使用下面的语句
在
spark
中
读取csv。df =
spark
.read.csv('<CSV FILE>', header=True, inferSchema = True) 当我检入
spark
dataframe
时,一些整型和双精度列被存储为
dataframe
中
的
字符
串列
。我已经检查了特定列的值,所有的值都是双精度类型,但
spark
仍然推断为StringType
浏览 5
提问于2017-08-31
得票数 2
1
回答
如何在控制台上打印
spark
数据框名称
、
我是
spark
的新手。我们有没有内置的函数来打印刚才的数据框名称?
浏览 6
提问于2020-02-17
得票数 0
回答已采纳
2
回答
Scala火花-将JSON列拆分为多列
、
、
、
Scala,使用
Spark
2.3.0。我正在使用一个
创建
JSON
字符
串列
的udf
创建
一个
DataFrame
:+----------------+--------------------
浏览 4
提问于2020-01-06
得票数 0
回答已采纳
1
回答
根据
中
的列数据类型,从
dataframe
选择列到另一个数据
、
、
、
我有火花数据 |-- Recency: double (nullable = false)我想通过从这里删除
字符
串列
来
创建
一个新的
dataframe
。
浏览 1
提问于2016-01-15
得票数 0
回答已采纳
1
回答
如何在pyspark中将列表合并为单个列表
、
、
在
spark
dataframe
中
,我有1列,其中包含列表列表作为行。我想将
字符
串列
表合并为一个。INPUT
DATAFRAME
:| name |friends || Kim |[["C","K"]["L",&quo
浏览 6
提问于2018-08-31
得票数 3
回答已采纳
1
回答
如何
创建
带时间戳的
spark
数据帧
、
如何在一步
中
创建
具有timestamp数据类型的
spark
数据帧?下面是我如何在两个步骤
中
做到这一点。使用
spark
2.4 首先
创建
带有时间戳
字符
串的
dataframe
import org.apache.
spark
.sql.types._ S
浏览 10
提问于2019-02-27
得票数 5
回答已采纳
1
回答
在
scala
dataframe
中将
字符
串列
转换为十进制
、
、
我有一个
dataframe
( scala ) --我
在
笔记本
中
同时使用了pyspark和scala。#pysparkimport org.apache.
spark
.sql.functions._ val df =
spark
.sql(&quo
浏览 2
提问于2020-10-27
得票数 0
回答已采纳
2
回答
如何删除星火表列
中
的空白
、
、
、
、
我想从特定列(Purch_location)
中
的所有值
中
删除空格。我使用的是
spark
表,而不是
dataframe
或SQL表(但如果需要,我可以使用
dataframe
或SQL表)。下面是我的星火表的生成方式:cols = dataset.columns+----------+----
浏览 6
提问于2017-12-03
得票数 2
1
回答
火花
DataFrame
联合回收
、
、
、
、
我试图对给定的原始numOne进行
子
字符
串(列、numTwo、
DataFrame
),并通过对通过执行
子
字符
串(列、numOne、numTwo)
创建
的
DataFrame
的所有子集执行联合操作来
创建
新的
DataFrame
=
spark
.emptyDataFrame.withColumn("name",functions.lit(null)) def dataFrameCreatorOrg(d
浏览 1
提问于2019-08-01
得票数 1
回答已采纳
1
回答
如何在DataFrames中将列类型从String更改为Date?
、
、
我有一个数据帧,它有两列(C,D)被定义为
字符
串列
类型,但列
中
的数据实际上是data。例如,列C的日期为“20150401-APR-2015”,列D的日期为“2015”。我查看了需要将
Spark
SQL的
DataFrame
中
的
字符
串列
类型转换为Date列类型的堆栈溢出。日期格式可以是"01-APR-2015“,我查看了,但它没有与日期相关的信息
浏览 1
提问于2016-04-30
得票数 13
回答已采纳
1
回答
Spark
Streaming -访问
Spark
SQL数据帧
中
的自定义case类对象数组
、
、
、
在
我的
Spark
Streaming查询
中
,我想使用一个名为URL的case类,它有3个
字符
串成员,如下所示: url: string domain: stringtopLevelDomain: string 我想
创建
一个
DataFrame
,其中一个成员是URL对象的数组。稍后,我将对此列应用转换,将其转换为
字符
串列
表,该
字符
串列
表可以是domain或topLevelDomain,具
浏览 18
提问于2020-01-06
得票数 0
回答已采纳
1
回答
Spark
XML -使用Excel
中
的XML
、
、
、
我正在尝试使用Pyspark和
spark
-xml通过执行df =
spark
.read.format('xml').options(rowTag = 'book').load(___)来解析这些内容。
浏览 17
提问于2020-06-15
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark SQL,DataFrames 以及 Datasets 编程指南
教程:Apache Spark SQL入门及实践指南!
Spark之SparkSQL
Spark SQL DataFrame与RDD交互
pandas系列学习(三):DataFrame
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券