腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
将
Array
[
string
]类型
的
两
列
合并为新
的
Array
[
string
]
列
scala
、
apache-spark
、
apache-spark-sql
、
user-defined-functions
我
在
Spark
DataFrame中有两
列
,每一
列
中
的
每个条目都是
字符串
数组
。")def concat_
array
(firstarray:
Array
[
String
], seco
浏览 1
提问于2018-03-07
得票数 9
回答已采纳
1
回答
Spark
HiveContext获取与配置单元客户端选择相同
的
格式
apache-spark
、
hive
当配置单元表有像映射或
数组
这样
的
值时,如果你
在
配置单元客户端选择它,它们会显示为JSON,例如:{"a":1,"b":1}或[1,2,2]。
在
Spark
中选择这些对象时,它们是DataFrame
中
的
贴图/
数组
对象。如果对每一行进行
字符串
化,则它们是Map("a" -> 1, "b" -> 1)或WrappedArray(1, 2, 2
浏览 1
提问于2018-07-20
得票数 0
2
回答
使用
Scala
和
Spark
在
列
中
字符串
的
数组
[
Array
[
String
]]
arrays
、
scala
、
dataframe
、
apache-spark
这是我
的
数据帧: +--------------------+ | NewsId| newsArr||[[n/a], [DH, AH0]...| 我想将"transArr“
列
单元格变成如下所示
的
字符串
: +--------------------+|n/a DH AH0... | 有没有相对简单
的
解决方案?
浏览 39
提问于2020-10-20
得票数 0
回答已采纳
1
回答
在
Scala
中
,如何在保持数据类型
的
同时从dataframe获取
列
?
scala
我有以下数据:root |-- words:
array
(nullable= true) |-- lemma:
array
(nullable = true) |
浏览 1
提问于2017-02-15
得票数 0
1
回答
spark
scala
:将Struct
列
的
数组
转换为
字符串
列
arrays
、
json
、
scala
、
apache-spark
我有一个
列
,它
的
类型是从json文件推导出
的
array
< Struct >。我希望将
数组
< Struct >转换为
字符串
,这样我就可以
在
配置单元中保持该
数组
列
的
原样,并将其作为单个
列
导出到RDBMS。
scala
> val temp =
spark
.read.json("s3://check/1
浏览 0
提问于2017-06-02
得票数 4
回答已采纳
1
回答
随着数据集
和
列
数
的
增加,
Spark
作业
的
执行时间呈指数级增长
scala
、
apache-spark
、
bigdata
我已经
在
spark
中
创建了一个固定宽度
的
文件导入解析器,并在各种数据集上执行了一些执行测试。它可以很好地工作到1000
列
,但随着
列
数
和
固定宽度长度
的
增加,
Spark
作业性能会迅速下降。对于20k
列
和
固定宽度长度超过10万
的
列
,执行时间很长。我发现
的
类似问题之一:
浏览 1
提问于2018-09-15
得票数 1
1
回答
如何将arrays[
String
]
列
转换为
字符串
列
arrays
、
scala
、
apache-spark
、
apache-spark-sql
在
scala
+
spark
中
,我有一个包含两
列
Array
[
String
]
的
数据 |-- v2:
array
(nullable = true)我想根据
浏览 0
提问于2019-08-10
得票数 1
回答已采纳
1
回答
Array
[
String
]
的
Scala
级联列为单个
Array
[
String
]
scala
、
apache-spark
、
dataframe
、
data-science
我有一个带有id - (Int)
和
tokens - (
array
<
string
>)
列
的
Spark
(
Scala
):0,["a","b","c"]...假设我能够通过SparkSession检索数据并转换为case类: case class Token(id: Int, tokens:
Array
浏览 0
提问于2018-12-12
得票数 0
回答已采纳
2
回答
如何将双倍
数组
转换为RDD[
String
]
scala
、
apache-spark
、
rdd
我需要将
Array
[
Array
[Double]]转换为RDD,例如将[[1.1, 1.2 ...], [2.1, 2.2 ...], [3.1, 3.2 ...], ...]转换为val testData =
spark
.sparkContexttestDensities .
浏览 6
提问于2017-03-24
得票数 3
回答已采纳
2
回答
如何在
Spark
(2.4) SQL -
Scala
2.11
中
避免ArrayType
的
自动转换
scala
、
apache-spark
、
casting
、
apache-spark-sql
给定
Spark
2.4
和
scala
2.11
中
的
代码 val df =
spark
.sql("""select
array
(45, "something", 45)""") 如果我
使用
df.printSchema()打印模式,我会看到
spark
自动转换为
字符串
CAST(45 AS
STRING
)。root |-- <e
浏览 30
提问于2020-01-21
得票数 3
1
回答
使用
字节
数组
创建火花DataSet时出错
scala
、
apache-spark
、
apache-spark-sql
我正在
使用
case类
和
spark
.sql({query}).as[MyCaseClass]语法
在
scala
中
创建
Spark
ip:
Array
[
Array
[Byte]] val hbaseDataSet =
spark
浏览 1
提问于2018-11-26
得票数 1
回答已采纳
2
回答
如何将函数应用于
Spark
DataFrame
的
列
?
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
让我们假设我们有一个
Spark
DataFrameClass[_ <: org.apache.
spark
.sql.DataFrame] = class org.apache.
spark
.sql.DataFrame
使用
下面的模式root|-- tk:
array
(nullable = true) ||-- element:
string</em
浏览 2
提问于2016-01-05
得票数 7
回答已采纳
2
回答
为什么$不能处理
String
类型
的
值(并且只直接处理
字符串
文本)?
scala
、
apache-spark
、
apache-spark-sql
" val Date = "Date"} 然后,我想按
列
对我如何将$
和
ColumnNames.JobSeekerID结合在一起来完成这一任务?
浏览 2
提问于2018-01-11
得票数 2
回答已采纳
1
回答
Spark
Scala
UDF
中
的
异常处理
scala
、
apache-spark
、
exception
、
apache-spark-sql
、
user-defined-functions
def parse_values(value:
String
) = { values.foldLeft(
Array
[(Int, Double)]()) { val
Array
(k, v) = present.split(",")(0).split(":") acc :
浏览 22
提问于2020-07-24
得票数 0
1
回答
如何
使用
Scala
解压缩星火DataFrame
中
的
列
scala
、
apache-spark
、
gzip
我有一个包含压缩内容
的
列
的
拼花文件。目前,我
的
Spark
(用
Scala
编写)作业
使用
Java.io Reader链来压缩内容:val byteArrayInputStreambufferedReader: BufferedReader = new BufferedReader(inputStreamReader) var line: <
浏览 0
提问于2019-04-16
得票数 1
2
回答
错误:值显示不是
字符串
的
成员。
scala
、
apache-spark
、
apache-spark-sql
要查看标头变量
的
内容,我必须做什么?
浏览 0
提问于2017-08-19
得票数 0
回答已采纳
3
回答
Spark
:将
字符串
列转换为
数组
scala
、
apache-spark
、
pyspark
如何将作为
字符串
读取
的
列
转换为
数组
列
?即从下面的模式转换root |-- b:
string
(nullable = true
和
python实现。另外,我如何在读取文件本身
的
同时处理它呢?我有大约450
列
的
数据,其中有几列我想以这种格式指定。目前我正在阅读pyspark,如下所示:
浏览 1
提问于2017-06-22
得票数 20
回答已采纳
1
回答
spark
dataframe根据条件从多
列
中选择值
apache-spark
、
apache-spark-sql
数据模式,|-- id:
string
(nullable = true)|-- col2:
string
(nullable= true) |1 |["x","y","z"]|[123,"null","null"]| 从上面的数据
中
,我想过滤出x
在</
浏览 3
提问于2019-11-25
得票数 0
3
回答
仅在字段存在
的
情况下选择字段(SQL或
Scala
)
sql
、
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
输入数据可能并不总是所有的
列
。
在
SQL或
SCALA
中
,我希望创建一个select语句,即使dataframe没有
列
,它也不会出错,它只会输出存在
的
列
。|51 |42 |2 ||89 |44 |9 | 如果dataframe如下所示,我希望相同
的
语句工作,只需忽略不存在
的
内容,只需输出现有的
列</
浏览 0
提问于2019-03-18
得票数 2
回答已采纳
1
回答
为什么
使用
组合会产生"java.io.NotSerializableException: java.io.NotSerializableException“
scala
、
apache-spark
问题: at org.apache.
spark
.serializer.JavaSerializationStream.writeObject(JavaSerializer.
scala
:46)].split("\\;;").map(_.trim))
Array
[
浏览 1
提问于2017-05-06
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scala学习笔记03
好程序员大数据学习路线分享Scala分支和循环
Zzreal的大数据笔记-ScalaDay02
Zzreal的大数据笔记-SparkDay04
Spark SQL DataFrame与RDD交互
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券