腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
从
Spark
Dataframe
中
的
字符
串列
中
删除
尾部
制表符
scala
、
apache-spark
我需要从包含
尾部
空格
的
Dataframe
中
清理一列。' '17390052 ' 首先,我尝试使用trim
删除
空格
从
Spark
中
的
字符
串列
中
删除
"tab“
字符
的
正确方法是什么?
浏览 172
提问于2021-06-30
得票数 0
回答已采纳
2
回答
如何
从
list[String]
中
获取
DataFrame
scala
、
apache-spark
我在HDFS中有一个文本文件,其中包含一个ids列表,我想将这些ids作为
字符
串列
表读取。当我这么做
的
时候我得到了一个Listorg.apache.
spark
.sql.Row。如何将此文件读入
字符
串列
表?
浏览 0
提问于2018-03-28
得票数 0
回答已采纳
1
回答
如何在pyspark中将列表合并为单个列表
apache-spark
、
dataframe
、
pyspark
在
spark
dataframe
中
,我有1列,其中包含列表列表作为行。我想将
字符
串列
表合并为一个。INPUT
DATAFRAME
:| name |friends || Kim |[["C","K"]["L","G"
浏览 6
提问于2018-08-31
得票数 3
回答已采纳
2
回答
Spark
2.0,
DataFrame
,筛选
字符
串列
,不等运算符(!==)已弃用
apache-spark
、
spark-dataframe
我正在尝试过滤
DataFrame
,只保留那些具有特定
字符
串列
的
行不为空。df.filter($"stringColumn" !== "")如何检查
Spark
> 2.0
中
的
字符
串列
值是否为空?
浏览 1
提问于2016-10-20
得票数 22
回答已采纳
2
回答
如何将
Spark
Dataframe
的
时间戳列转换为
字符
串列
scala
、
apache-spark
我想把
Spark
dataframe
所有的时间戳列转换成
字符
串列
。有人能告诉我如何为每个数据帧自动做到这一点吗?因此,我需要在任何给定表中使用有关列类型
的
信息,并将其转换为
字符
串列
。
浏览 66
提问于2019-11-08
得票数 1
1
回答
根据
中
的
列数据类型,
从
dataframe
选择列到另一个数据
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
我有火花数据 |-- Recency: double (nullable = false)我想通过从这里
删除
字符
串列
来创建一个新
的
dataframe
。
浏览 1
提问于2016-01-15
得票数 0
回答已采纳
1
回答
如何在控制台上打印
spark
数据框名称
apache-spark
、
pyspark
我是
spark
的
新手。我们有没有内置
的
函数来打印刚才
的
数据框名称?
浏览 6
提问于2020-02-17
得票数 0
回答已采纳
1
回答
spark
2.x正在使用csv函数将整型/双精度列作为
字符
串读取
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我正在使用下面的语句在
spark
中
读取csv。df =
spark
.read.csv('<CSV FILE>', header=True, inferSchema = True) 当我检入
spark
dataframe
时,一些整型和双精度列被存储为
dataframe
中
的
字符
串列
。我已经检查了特定列
的
值,所有的值都是双精度类型,但
spark
仍然推断为S
浏览 5
提问于2017-08-31
得票数 2
1
回答
Spark
-SQL :如何将TSV或CSV文件读入
dataframe
并应用自定义模式?
scala
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
我在使用
制表符
分隔值(TSV)和逗号分隔值(CSV)文件时使用
Spark
2.0。我希望将数据加载到
Spark
-SQL数据帧
中
,在读取文件时,我希望完全控制模式。我不希望
Spark
从
文件
中
的
数据
中
猜测模式。 如何将TSV或CSV文件加载到
Spark
SQL
Dataframe
中
,并对其应用模式?
浏览 2
提问于2017-04-20
得票数 6
2
回答
如何
删除
星火表列
中
的
空白
python
、
apache-spark
、
pyspark
、
databricks
、
sparktable
我想从特定列(Purch_location)
中
的
所有值
中
删除
空格。我使用
的
是
spark
表,而不是
dataframe
或SQL表(但如果需要,我可以使用
dataframe
或SQL表)。下面是我
的
星火表
的
生成方式:cols = dataset.columns+----------+----
浏览 6
提问于2017-12-03
得票数 2
3
回答
如何在
spark
2.0
中
使用sql获取正确
的
子
字符
串
apache-spark
例如,如果我有一个像"2.450“这样
的
字符
串列
值,我想从该列
中
获得正确
的
2个
字符
"50”,如何使用
spark
2.0.1
中
的
sql获取它。0.1我正在从
dataframe
创建
的
视图上运行我
的
sql mydf.createOrReplaceTempView("myview");
浏览 3
提问于2016-10-19
得票数 4
回答已采纳
1
回答
如何创建带时间戳
的
spark
数据帧
scala
、
apache-spark
如何在一步
中
创建具有timestamp数据类型
的
spark
数据帧?下面是我如何在两个步骤
中
做到这一点。使用
spark
2.4 首先创建带有时间戳
字符
串
的
dataframe
import org.apache.
spark
.sql.types._ S
浏览 10
提问于2019-02-27
得票数 5
回答已采纳
1
回答
如何在Scala
中
的
dataframe
上应用regex_replace时,修复异常“当前不支持'E‘类型
的
文字”?
regex
、
postgresql
、
scala
、
apache-spark
表之前,我们被要求在具有
字符
串数据类型
的
dataframe
列上应用regex_replace模式。代码正确地标识了
字符
串列
,在其中可以看到列名:period_name。,true), StructField(ledger_id,LongType,true), StructField(currency_code,StringType,true)) 其要求是以多种格式
删除
空格
字符
串列
中
的
数据可以具有多种格式
的<
浏览 0
提问于2018-08-25
得票数 0
回答已采纳
1
回答
如何在DataFrames中将列类型
从
String更改为Date?
scala
、
apache-spark
、
apache-spark-sql
我有一个数据帧,它有两列(C,D)被定义为
字符
串列
类型,但列
中
的
数据实际上是data。例如,列C
的
日期为“20150401-APR-2015”,列D
的
日期为“2015”。我想将它们更改为日期列类型,但我没有找到这样做
的
好方法。我查看了需要将
Spark
SQL
的
DataFrame
中
的
字符
串列
类型转换为Date列类型
的
堆栈溢出。日期
浏览 1
提问于2016-04-30
得票数 13
回答已采纳
2
回答
获取地理二进制PySpark
的
文本
python
、
pyspark
、
apache-spark-sql
、
geolocation
、
geospatial
我正在读取一个使用AWS DMS服务
从
MySQL表生成
的
parquet文件。此表有一个类型为Point (WKB)
的
字段。当我读取这个拼图文件时,
Spark
根据下面的代码将其识别为二进制类型: file_
dataframe
= sparkSession.read.format('parquet')\ .option我尝试将列转换为
字符
串,但得到
的
结果如下: file_
dataframe
= file_
datafram
浏览 20
提问于2020-09-19
得票数 0
回答已采纳
1
回答
在scala
dataframe
中将
字符
串列
转换为十进制
scala
、
dataframe
、
casting
我有一个
dataframe
( scala ) --我在笔记本
中
同时使用了pyspark和scala。#pysparkimport org.apache.
spark
.sql.functions._ val df =
spark
.sql("select
浏览 2
提问于2020-10-27
得票数 0
回答已采纳
1
回答
-syntax脚本:使用此处文档时出现"'<<‘不匹配“shell错误
shell
、
ksh
嗨,我正在尝试编写一个程序,如果一个感兴趣的人在给定
的
时间在线,它将提醒用户。到目前为止我
的
程序是 else fi echo "No arguments provided"我
的
问题是我检查了很多其他
的
例子,我
的
at命令,here document,看起来和他们
的
是一样
的
。有人能帮我吗?谢谢。
浏览 0
提问于2014-03-17
得票数 4
回答已采纳
1
回答
当foldLeft应用于
dataFrame
时,如何理解输出数据?
scala
、
apache-spark
我试图使用Scala
中
的
foldLeft & regex_replace
从
Dataframe
的
字符
串列
中
删除
新
的
行
字符
。在读取了postgres上
的
关系数据库管理系统表: public.test_sid之后创建了数据。该表有4列:id, id1, id2, id3和id3
中
有一个新
的
行
字符
。:spColsDF
的<
浏览 0
提问于2018-08-27
得票数 1
回答已采纳
2
回答
如何在Apache
Spark
中
根据分隔符将单
字符
串列
转换为多列
apache-spark
、
pyspark
、
apache-spark-sql
我有一个包含
字符
串列
的
数据框,我想在其中创建多个列。 我想从它创建多个列。
字符
串
的
格式是相同
的
- col1:value1 col2:value2 col3:value3 ... colN:valueN。在输出
中
,我需要多个列- col1 to colN,值作为每列
的
行。以下是输出-我如何在
spark</
浏览 23
提问于2021-06-02
得票数 0
回答已采纳
1
回答
导出excel时如何设置列表头?
python
、
pandas
我尝试更改标题标题:for item in df.columns.map(lambda x: {x: self._get_column_header(x)}):self._set_column_style(df).to_excel(xls_writer, startcol=1,
浏览 7
提问于2020-02-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python 小白学习笔记(1)
python 3.5入门(7)字符串基本操作
python系列二 python字符串
Spark SQL,DataFrames 以及 Datasets 编程指南
pandas系列学习(三):DataFrame
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券