腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2170)
视频
沙龙
1
回答
如
何在
Spark
(
Scala
)
中将
WrappedArray
[
WrappedArray
[(
String
,
String
)]]转
换为
Array
[
String
]
、
、
、
、
好的, 我正在使用
Scala
中的
spark
框架。([3,spain]),
WrappedArray
([,]),
WrappedArray
([3,spain])] | | |--
浏览 53
提问于2019-03-04
得票数 0
1
回答
Spark
:使用rdd的值从rdd创建数据格式
如果将其转
换为
df,就会得到以下结果:aDF.printSchema |---id:
string
|---- element: struct |-----_2: doubleroot |--id
浏览 2
提问于2016-10-05
得票数 2
回答已采纳
1
回答
Java处理数组列
sqlContext.udf().register("NAME_SELECTOR", (UDF1<List<
String
>,
String
>) brandNames -> {brandNames.sort(Comparator.comparing(
String
::length)); return brandNames.get我知道在
scala
中,我需要使用Seq[
String
]作为输入类型,那么在Java
浏览 3
提问于2020-08-02
得票数 0
回答已采纳
1
回答
Scala
+
Spark
中字符串数组到结构数组
、
、
我目前使用的是
Spark
和
Scala
2.11.8root|-- brandlabel:
string
(nullable = true)|-- descriptions:
array
(nullable = true) |-- |-- element:
string
(cont
浏览 2
提问于2017-02-17
得票数 0
回答已采纳
1
回答
将Java数组转
换为
Scala
WrappedArray
(在JAVA中)
、
、
我正在编写一个Java
Spark
应用程序,并且正在尝试为我的一个UDF编写单元测试。此UDF接受字符串数组并返回Long: protected UDF1<
WrappedArray
<
String
>, Long> convertMyArray() { }; } 当我使用
Spark
会话测试它时,逻辑工作得
浏览 55
提问于2021-08-03
得票数 0
回答已采纳
2
回答
使用
Spark
访问Java中的多维
WrappedArray
元素
、
、
、
我有以下模式: -- coordinates:
array
(nullable = true) -- element:
array
(containsNull = true)在Java中,如何使用
Spark
行访
浏览 2
提问于2016-11-10
得票数 2
回答已采纳
1
回答
为什么下面的dataframe映射到dataframe失败?
efg, efz efz")).toDF("names", "age", "color")val sqlContext = new org.apache.
spark
.sql.SQLContext(sc);import sqlContext.implicits._
scala
> val d2 = df.map(x => x).toDFPrimitive types (In
浏览 0
提问于2018-11-05
得票数 0
回答已采纳
1
回答
如
何在
Java中创建接受字符串数组的
Spark
UDF?
、
array
<
string
>,
array
<
string
>) =>
string
)at org.apache.
spark
.rdd.RDD.iterator(RDD.
scala
:288) at org.apache.
spark
.rdd.Ma
浏览 40
提问于2019-11-25
得票数 1
回答已采纳
1
回答
获取
WrappedArray
行值并将其转
换为
Scala
中的字符串
、
、
||[
WrappedArray
(LineItem_organizationId, LineItem_lineItemId)] | |[
WrappedArray
(OrganizationId, LineItemId,我如
何在
Scala
中做到这一点。= "C://Users//u6034690//D
浏览 2
提问于2018-02-26
得票数 4
回答已采纳
2
回答
如何将Dataset<Row>列转
换为
非原始数据类型
、
因此,当我调用UDF时,它会抛出一个异常,即caused by java.lang.classcastexception
scala
.collection.mutable.
wrappedarray
$ofref cannot be cast to java.lang.List UDF3<
String
,Lis
浏览 0
提问于2019-03-26
得票数 2
回答已采纳
2
回答
如
何在
星星之火
中将
地图传递给UDF
、
、
、
这是我的问题,我有一个Map[
Array
[
String
],
String
]的映射,我想把它传递给一个UDF。这是我的UDF: udf((input:
Array
[
String
]) => lookupMap.lift更新:所以我确实将所有内容转
换为
一个包装的数组。以下是我所做的: val srdd = df.rdd.map{row
浏览 2
提问于2017-07-14
得票数 1
回答已采纳
2
回答
用java列表将
scala
hashmap和List转
换为
java hashmap
、
、
、
我对
scala
很陌生,我在案例A下面val a = rddCaseClass.toDF().map ( x=> { val rowData = x.getAs[java
浏览 7
提问于2016-10-09
得票数 0
回答已采纳
0
回答
分解从json
scala
创建的
array
<
array
<
string
>>的DataFrame
"values": ["654", "655", "666"] "values": ["754", "755", "777"]} a: org.apache.
spark
.sql.DataFrame = [values: <e
浏览 0
提问于2016-07-06
得票数 1
4
回答
在
Spark
中将
字符串数组转
换为
具有不同分隔符的字符串
、
、
我希望将dataframe中的字符串数组转
换为
具有不同分隔符的字符串,而逗号也会删除数组括号。我希望将",“替
换为
";#”。这是为了避免在其中包含",“元素,因为它是一个自由格式的文本字段。举例如下:root | |-- element:
string
(containsNull = trueMustang |产生上述输入的当前代码: va
浏览 1
提问于2019-09-11
得票数 0
回答已采纳
1
回答
使用java读取
spark
sql中的复杂json
、
lang=en" }java.lang.ClassCastException:
scala
.collection.mutable.ArrayBuffer不能强制转
换为
java.lang.
String
浏览 0
提问于2016-04-06
得票数 1
1
回答
触发不可序列化的udf错误任务(
scala
)
、
SparkSession.builder().getOrCreate() if(init == null) return null if(!(Dataset.
scala
:751) at org.apache.
spark
.sql.Dat
浏览 2
提问于2019-10-07
得票数 0
回答已采纳
1
回答
Scala
火花UDF函数,它接受输入并将其放入数组中
、
、
、
我正在尝试为
Spark
创建一个
Scala
,它可以在
Spark
中使用。该函数的目标是接受任何列类型作为输入,并将其放入ArrayType中,除非输入已经是ArrayType。[
scala
.collection.Seq[_]] return
Array
(inputObject) }|2021-
浏览 8
提问于2022-05-06
得票数 0
1
回答
Spark
将
Array
[
string
]与标记结合起来
、
我在
Array
[
string
]集合中有两个MongoDB列,现在通过
Scala
UDF函数组合它,如下所示: mutable.
WrappedArray
[
String
]): mutable.
WrappedArray
[
String
] = {(arr1 ++ a
浏览 0
提问于2018-10-03
得票数 1
回答已采纳
2
回答
火花数据中的结构滤波器阵列
、
我有一个JSON文件,我正在使用
Scala
2.10将JSON文件读入到
Scala
2.10中JSON如下所示: {
浏览 0
提问于2018-02-21
得票数 5
1
回答
火花存取嵌套列
、
、
我想访问一个列,它包含一个类似于的嵌套数组res95:
scala
.collection.immutable.Map[
String
,
scala
.collection.immutable.Map[
String
,
Array
[Double]]] = Map(col1 -> Map(A ->
WrappedArray
(0.5, 0.6666666666666666), d ->
WrappedArray
0.0, 0.0), t ->
浏览 6
提问于2016-12-20
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
JVM语言比较研究:Java、Kotlin 和Scala的利与弊
Spark源代码::Spark多线程::NettyRpcEnv.ask解读
PHP 8:类型系统改进
实时计算框架 Flink 在教育行业的应用实践
Spark之SparkSQL
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券