腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
SQL
如何
查询
Array
[
Struct
]
中
结构
字段
的
子集
?
apache-spark
、
hive
、
apache-spark-sql
(nullable = true) | | |-- _id: string (nullable- .......: string (nullable = true) | |-
浏览 32
提问于2019-09-28
得票数 0
3
回答
如何
正确地将
结构
函数转换为named_
struct
表达式?
apache-spark
、
pyspark
、
apache-spark-sql
}, "a": "3", }} 我需要使用
spark
-
sql
API将
array
0
中
的
结构
的
每个
字段
名都更改为这样
的
("json").option("multiLine", "true&quo
浏览 55
提问于2020-06-30
得票数 1
1
回答
在pyspark中高效选择键值拼图列
apache-spark
、
pyspark
、
apache-spark-sql
、
parquet
我正在使用一个相当大
的
镶嵌板桌子,99.9%
的
数据包含在单个key:value列
中
。| | |-- complex_field_n:
struct
有问题
的
列是details,可能
的
键是key_1、key_2、both或none。我
的
问题是
如何
有效地只选择属于key_1
的
子
字段
(例如select details['key_1'].complex_
struct
_1.co
浏览 6
提问于2021-01-05
得票数 0
回答已采纳
2
回答
Spark
-从数组对象中选择多列
scala
、
apache-spark
我有一个具有以下架构
的
数据集 |-- id: string (nullable = true) |-- subEntities:
array
(nullable = true) | | |-- status: stringid", $"name", $"subEntities.subEntityId"
浏览 0
提问于2020-06-09
得票数 1
1
回答
火花放电数据帧
中
数组
的
访问
字段
pyspark
、
pyspark-sql
、
orc
我正在开发基于一组ORC文件
的
spark
数据访问
sql
查询
。这个程序是这样
的
:
spark
_session = SparkSession.builder.appName("test").getOrCreate如果我做这样
的
事:
spark
_session.
sql
("select count(*) from test
浏览 0
提问于2018-02-16
得票数 5
回答已采纳
1
回答
删除pyspark
中
的
嵌套列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-dataframes
我有一个包含一列结果
的
pyspark数据帧。在结果列
中
,我想删除列"Attributes“。dataframe
的
模式是:(在结果中有更多
的
列,但为了方便起见,我没有显示它们,因为模式很大) |-- results:
struct
(nullable = true) | | |-- element:
struct
(containsNull = true) | |
浏览 20
提问于2020-06-15
得票数 0
回答已采纳
1
回答
在R中使用SparklyR更改嵌套列名
r
、
apache-spark
、
sparklyr
我提到了这里提到
的
所有链接:下面的R代码是使用Sparklyr包编写
的
。它读取巨大
的
JSON文件并创建数据库模式。sc <-
spark
_connect(master = "local", config = conf, version = '2.2.0') # Connection它显示错误: Er
浏览 0
提问于2018-09-10
得票数 0
1
回答
AnalysisException:需要
结构
类型但有字符串
apache-spark
、
pyspark
、
struct
、
databricks
、
apache-sedona
我在Databricks
中
创建了一个表utils.executequery(""" optimize TabA """) col1#22613:需要
结构
类型但有字符串
浏览 6
提问于2022-10-17
得票数 1
回答已采纳
1
回答
如何
在不指定架构
的
情况下使用PySpark
中
的
struct
列创建数据格式?
apache-spark
、
pyspark
、
struct
、
apache-spark-sql
、
pyspark-schema
我正在学习PySpark,它可以方便地快速创建示例数据文件来尝试PySpark API
的
功能。以下代码(其中
spark
是火花会话):df = [{'id': 1, 'data': {'x': 'mplah', 'y': [10,20,30如果我给出一个模式,我可以强制一个
结构
:df =
浏览 2
提问于2022-05-01
得票数 3
回答已采纳
1
回答
星火中
结构
到柱
的
爆炸阵列
scala
、
apache-spark
、
dataframe
我想将一个
结构
数组分解为列(由
struct
字段
定义)。例如。root | |-- element:
struct
(containsNull = true)我可以用 .select(explode($"arr").as("tmp")) .select($"tmp.*&q
浏览 0
提问于2017-11-29
得票数 4
1
回答
spark
和dataframes
中
的
字段
空控制
apache-spark
、
dataframe
、
apache-spark-sql
基本思想是,用户通过命名
字段
并将其与简单
的
sql
片段(可以出现在select子句中
的
片段)映射来配置
字段
,组件将添加此列并将其分组到
struct
字段
中
(使用 )。稍后
的
处理将这些
struct
字段
中
的
一些
字段
分组到一个数组
中
,此时我遇到了一个问题,即其中一个
字段
在一个元组
中
是可空
的</e
浏览 3
提问于2016-04-20
得票数 2
1
回答
在架构rdd
中
爆炸json数组
json
、
scala
、
apache-spark-sql
":"Michael", "address":[{"city":null, "state":"California"},{"city":null, "state":"California"}]}[Yin , [(Columbus , Ohio) , (Colum
浏览 5
提问于2015-04-27
得票数 4
1
回答
使用java读取
spark
sql
中
的
复杂json
java
、
spark-streaming
我
的
json文件类似于下面的代码,我正在尝试使用以下代码读取majorsector_percent下
的
所有名称。.registerTempTable("logs"); List s = sQLContext.
sql
lang=en" }java.lang.ClassCastExcep
浏览 0
提问于2016-04-06
得票数 1
1
回答
如何
向dataframe
中
添加大型
struct
列
scala
、
apache-spark
、
apache-spark-sql
、
case-class
我想将
struct
列添加到dataframe
中
,但该
结构
的
字段
超过100
字段
。我了解到case类可以更改为
struct
列,但是case类
的
限制是不超过22个
字段
(online
spark
为1.6.3,scala为2.10.4)。 普通类能做到这一点吗?还有一个"org.apache.
spark
.
sql
.functions.
struct
",,但是
浏览 4
提问于2017-08-17
得票数 0
回答已采纳
1
回答
如何
使用相当复杂
的
架构映射数据集?
apache-spark
、
dataframe
、
apache-spark-sql
: dataframe
的
每一行都有两个或更多
的
元素,它们具有我在问题中发布
的
结构
。首先,我希望将行列表
中
的
每一行元素分开,因为我需要对它们进行比较。其中一个是我想应用另一个映射
的
DataFrame[ListRow],因此我可以合并每个列表
的
元素(为此,我编写了一个递归函数,检查列表
中
的
顺序,并用旧元素
的
值填充新元素
的
空
字段
)。由于模式相当复杂(至少我不知道<em
浏览 2
提问于2017-09-26
得票数 1
回答已采纳
1
回答
尝试使用
Spark
1.6 (WrappedArray)从嵌套JSON
中
收集A值
java
、
json
、
apache-spark
、
bigdata
我试图在Dataframe中转换json文件,但我被困在基于数组
的
字段
中
。我使用
的
是
Spark
1.6和Java。当我读取嵌套
的
Json并转换为Dataframe时,我可以读取一些
字段
,但当我尝试输入特定路径时,会显示错误。element:
array
(containsNull = true) | || |-- c
浏览 29
提问于2019-09-11
得票数 0
1
回答
在列表
中
创建带有
结构
的
选择
sql
、
apache-spark
、
pyspark
、
apache-spark-sql
我有下面的Dataframe视图df_view| b | c || 1 | 3 |我需要选择这个数据来形成一个包含
结构
列表
的
键{ { "c": 3 ]对于下面的select,它只创建一个
结构
,而不创建列表。df =
spark
.
sql
( '''
浏览 1
提问于2021-06-01
得票数 0
回答已采纳
2
回答
在PySpark
SQL
中
爆炸JSON
json
、
apache-spark
、
pyspark
、
apache-spark-sql
在模式
中
不存在名称
结构
/
array
的
情况下,
如何
爆炸嵌套
的
JSON数据?例如: |-- items:
array
(nullable = true) | |(使用多行),然后使用temp表并尝试
查询
。
spark
.
sql
("select explode(items)
浏览 4
提问于2020-12-23
得票数 1
回答已采纳
1
回答
星火支持列是否扫描
结构
数组
的
剪枝?
apache-spark
、
apache-spark-sql
在以下模式
中
,我有一个名为“住户”
的
数据框架: |-- country_code: string (nullable = true) |-- individuals:
array
(nullable = true) || |-- individual_id: string (nullable = true) | |
浏览 20
提问于2020-07-20
得票数 3
2
回答
触发数据帧groupBy并将结果排序到列表
中
apache-spark
、
dataframe
、
apache-spark-sql
我有一个
Spark
Dataframe,我想按键对元素进行分组,并将结果作为排序列表df.groupBy("columnA").agg(collect_list("columnB"))
如何
使列表
中
的
项目按升序排列?
浏览 5
提问于2016-08-01
得票数 18
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark SQL,DataFrames 以及 Datasets 编程指南
Spark SQL DataFrame与RDD交互
教程:Apache Spark SQL入门及实践指南!
从xls电子表格处理基本数据库的示例
Hive数据仓库实践10 集合数据查询
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券