腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
创建
结构
数组
spark
sql
sql
、
apache-spark
、
apache-spark-sql
我正在尝试
创建
一个array<struct>类型。我的代码似乎返回了我想要的内容,但是当我打开json文件时,
数组
只包含一个struct。
浏览 14
提问于2020-10-10
得票数 0
回答已采纳
1
回答
如何
从星火中的多个弹性搜索指数中读取?
scala
、
apache-spark
、
elasticsearch
、
spark-dataframe
但所有这些指数都有相同的数据
结构
。例如: .option("query", myquery("org.elasticsearch.
spark
.
sql
") .o
浏览 0
提问于2018-04-24
得票数 0
回答已采纳
1
回答
有一个星火内置的扁平嵌套
数组
吗?
scala
、
apache-spark
、
apache-spark-sql
、
user-defined-functions
我有一个DataFrame字段,它是一个Seq[Seq[String]],我构建了一个UDF来将所述列转换为SeqString列;基本上,是用于Scala中的flatten函数的UDF。 case null => Seq.empty[String]
浏览 0
提问于2019-01-19
得票数 1
回答已采纳
1
回答
Spark
-无法为
结构
数组
创建
架构
scala
、
apache-spark
我试图为一个包含
结构
数组
的数据帧
创建
一个相当简单的模式,但我就是不能让它工作。我已经在SO上读到了几个类似的问题,但仍然不起作用。我已经经历了几次迭代。])org.apache.
spark
.
sql
.types.StructType <and> (fields: java.util.List[org.apache.
spark
.
sql
.types.StructField])org.apache.
spark
.
sql
.type
浏览 16
提问于2020-01-01
得票数 0
回答已采纳
1
回答
Spark
vector UDF的Apache Ignite类比与一般的分布式计算
ignite
我使用
Spark
已经有一段时间了,在Python中取得了成功,但是我们有一个用C#编写的产品,它将从分布式和并行执行中受益良多。我做了一些研究,并尝试了新的C#应用程序接口,但目前这有点限制。然而,我想知道在我们的用例中,它是否真的可以用来取代
Spark
--我们需要的是一种执行数据帧类型操作的分布式方式。特别是,我们在Python中的许多代码都是使用Pandas UDF实现的,我们让
Spark
负责数据传输和结果合并。如果我想使用Ignite,我们的数据实际上更像是一个表(通常来自CSV ),而不是基于键/值,有没有一种有效的方法
浏览 14
提问于2019-11-08
得票数 0
回答已采纳
1
回答
寻找
Spark
SQL
的ARRAY_CONTAINS替代解决方案
apache-spark
、
apache-spark-sql
我使用嵌套数据
结构
(
数组
)来存储
Spark
表的多值属性。我在
Spark
SQL
中使用array_contains(
数组
,值)来检查
数组
是否包含值,但似乎存在性能问题。一个大的
Spark
表需要很长的时间。有没有其他的解决方案。
浏览 0
提问于2018-09-23
得票数 0
5
回答
SparkContext、JavaSparkContext、SQLContext和SparkSession之间的区别是什么?
java
、
scala
、
apache-spark
、
rdd
、
apache-spark-dataset
它们在
如何
使用SparkSession? 我
如何
使用 a
创建
以下内容SparkSession?
浏览 216
提问于2017-05-05
得票数 39
回答已采纳
1
回答
在
Spark
SQL
中,有没有办法用空值替换空
数组
结构
?
sql
、
apache-spark
、
apache-spark-sql
我尝试使用以下代码在
spark
sql
中查找空
数组
结构
:
Spark
.
sql
(“select count(*) from table1 where (Arraycolumn1)=0”).show()
浏览 41
提问于2021-07-24
得票数 0
2
回答
在
spark
sql
中将Double
数组
转换为String
scala
、
apache-spark
、
apache-spark-sql
我正在尝试从JSON读取数据,该JSON有一个具有lat、long值的
数组
,例如48.597315、-43.206085,我希望在
spark
sql
中将它们解析为单个字符串。
浏览 551
提问于2018-06-09
得票数 2
回答已采纳
3
回答
Spark
SQL
分解
结构
数组
apache-spark-sql
我有下面的JSON
结构
,我正在尝试将它转换为一个
结构
,每个元素都是列,如下所示,使用
Spark
SQL
。分解(控件)不起作用。有没有人能建议一下这样做的方法?
浏览 2
提问于2017-10-17
得票数 2
1
回答
使用字节
数组
创建
火花DataSet时出错
scala
、
apache-spark
、
apache-spark-sql
我正在使用case类和
spark
.
sql
({query}).as[MyCaseClass]语法在scala中
创建
Spark
.as[HbaseRow]org.apache.
spark
.
sql
.types.BinaryT
浏览 1
提问于2018-11-26
得票数 1
回答已采纳
1
回答
在列表中
创建
带有
结构
的选择
sql
、
apache-spark
、
pyspark
、
apache-spark-sql
我有下面的Dataframe视图df_view| b | c || 1 | 3 |我需要选择这个数据来形成一个包含
结构
列表的键{ { "c": 3 ]对于下面的select,它只
创建
一个
结构
,而不
创建
列表。df =
spark
.
sql
( '
浏览 1
提问于2021-06-01
得票数 0
回答已采纳
1
回答
如何
读取JSON
数组
结构
中的字符串值?
json
、
apache-spark
、
pyspark
、
apache-spark-sql
这是我的密码: select , principalBody.constituentsv_df|-- value: string (nullable = true)
如何
更改
SQL
中的principalBody.constituents行以读取constituent
浏览 3
提问于2022-01-15
得票数 0
回答已采纳
1
回答
在scala中的运行时从对象获取类
scala
、
apache-spark
、
reflection
、
dataframe
import org.apache.
spark
.
sql
.types.StructFieldimport org.apache.
spark
.
sql
.types.StringTypeimport org.apache.
spark
.
sql
.type.NumericType import org.apache.
spark
.
sql
.ty
浏览 3
提问于2016-10-30
得票数 0
回答已采纳
3
回答
如何
使用
Spark
SQL
解析JSON对象
数组
json
、
scala
、
apache-spark
、
apache-spark-sql
、
bigdata
此JSON是app的激活时间,其目的是分析每个app的总激活时间scalaval behavior =behavior-json.log")behavior.createOrReplaceTempView("behavior") val appActiveTime = sqlContext.
sql
("SELECT data FROM behavior") //
浏览 0
提问于2018-03-06
得票数 6
回答已采纳
2
回答
在哪些工作负载上使用MapReduce比
SQL
更有意义,反之亦然?
sql
、
mapreduce
、
bigdata
似乎所有用
SQL
表达的查询都可以转换为MapReduce作业。这本质上就是
Spark
SQL
所做的。SparkSQL接收
SQL
,将其转换为MapReduce作业,然后在
Spark
的运行时执行MapReduce作业。 所有可以用
SQL
回答的问题都可以用MapReduce作业来回答。是否所有的MapReduce作业也可以写成
SQL
(可能有自定义的用户定义函数)?什么时候使用MapReduce比
SQL
更有意义,反之亦然?
浏览 28
提问于2021-03-21
得票数 2
1
回答
当一个结果为空时,
如何
合并两个分解结果?
apache-spark
、
apache-spark-sql
环境:
spark
2.4.5SELECT A.* LATERAL VIEW explode(table_0.Array_0) exploded_a_valuesASELECT B.* LATERAL VIEW explode(table_0.Array_1) exploded_a_values AS B请注意,
数组
中的元素是
结
浏览 0
提问于2020-05-26
得票数 0
1
回答
在Apacke
Spark
中使用StructType
创建
JSON schema
java
、
apache-spark
我正在尝试为下面的JSON
创建
StructType模式 { "country":[ "area":9596960DataTypes.createStructField("name", DataTypes.StringType, true)), true)), true) 但是当我在下面运行获取所有国家/地区的名称时 Dataset<Row> namesDF =
spar
浏览 18
提问于2019-12-23
得票数 0
1
回答
如何
从火花放电中的字符串中
创建
相同的
结构
数组
?
python
、
scala
、
apache-spark
、
pyspark
、
apache-spark-sql
我编写了将字符串转换为
结构
数组
的代码。我也想在python上做同样的事情。你知道我该怎么做吗?import org.apache.
spark
.
sql
.DataFrameimport org.apache.
spark
.
sql
.Column
浏览 3
提问于2022-08-02
得票数 0
回答已采纳
1
回答
无法从dataframe提取
数组
/列表,AnalysisException :需要struct类型但获得二进制
java
、
apache-spark
、
dataframe
、
apache-spark-sql
、
spark-structured-streaming
这是密码Dataset<Row> readerDF =
spark
.readStream线程“主”org.apache.
spark
.
sql
.AnalysisException中的异常:无法从value#22中提取值;
如何
从数据集中访问String[]或List字段?
浏览 1
提问于2017-08-15
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SQL Server 2019将结合Spark创建统一数据平台!
Prophecy 3.0如何使企业无须编写SQL代码就能创建数据管道?
Scrtach支持列表数组功能模块?教你如何创建一个好用的列表!
教程:Apache Spark SQL入门及实践指南!
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券