腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从配置单元中的JSON数组获取JSON密钥时遇到的问题
hive
、
apache-spark-sql
、
hiveql
Tasks": 1894 ] ,j.job_id ,
get_json_object
(
spark
_event,concat('$.Stage Infos[',e.i,'].Stage ID')) as stage_id ,
get_json_object
(
spark
_event,concat('$
浏览 13
提问于2020-10-29
得票数 0
回答已采纳
1
回答
使用Pyspark查询dataframe中的json对象
python
、
mysql
、
json
、
apache-spark
、
pyspark
我有一个具有以下模式的MySql表:path-varchar我使用JDBC驱动程序将pyspark连接到MySql。我可以使用以下命令从mysql检索数据这个查询运行得很好。我的问题是,如何查询"info“列?例如,下面的查询在Pyspark shell和检索数据中工作得很好,但在MySQL (2+)
浏览 0
提问于2017-01-10
得票数 6
回答已采纳
3
回答
Spark
Scala中嵌套模式的字符串函数
scala
、
apache-spark
我正在用Scala编程语言学习
Spark
。
浏览 32
提问于2019-11-26
得票数 1
回答已采纳
1
回答
如何从星火scala中的json列中提取值?
scala
、
apache-spark
customer1", "Hi"), ).toDS().toDF() val out = MyClass.procOut(
spark
浏览 1
提问于2022-11-09
得票数 1
回答已采纳
1
回答
from_json Pyspark SQL函数:未找到键的默认值?
python
、
apache-spark
、
pyspark
、
pyspark-sql
我像往常一样使用from_json Pyspark SQL函数,例如: >>> import pyspark.sql.types as t>>> df = sc.parallelize(['{"a":1}', '{"a":1, "b":2}', '{"a":1, "b":2, "c":3}']).to
浏览 20
提问于2019-04-11
得票数 2
2
回答
为什么提取的json值都是空的?
pyspark
%pythonfrom pyspark.sql.functions import
get_json_object
df2_extractJSON = df2.with
浏览 6
提问于2022-11-25
得票数 0
回答已采纳
1
回答
从jdbc列中获取一个值
json
、
scala
、
apache-spark
mysql数据源用于将数据加载到
Spark
中,在string中有一个包含JSON的列。// JDBC Connection and load table in Dataframe val verDf =
spark
.read.format("jdbc").option("driver",
浏览 2
提问于2021-01-20
得票数 0
回答已采纳
1
回答
从星火阵列中提取值
arrays
、
json
、
scala
、
apache-spark
、
apache-spark-sql
customer_details 我正在使用以下代码:error: invalid string interpolation $., expected: $$, $identifier or ${expression}
spark
.sql(s""&quo
浏览 7
提问于2022-04-29
得票数 1
回答已采纳
1
回答
为什么在
spark
和sql工具中运行'
get_json_object
‘会返回不同的结果?
apache-spark
、
hive
、
apache-spark-sql
、
hiveql
我已经开发了一个hive查询,它使用横向视图和
get_json_object
来解压一些json。使用jdbc客户端(dbvisualizer)对hive数据库执行查询已经足够好了,但是当在java应用程序中作为
spark
sql在相同的数据上运行时,它什么也不会返回。我已经追踪到这个问题是因为'
get_json_object
‘函数返回的内容不同。当从java应用程序中作为
spark
sql运行相同的查询时,将返回null。我注意到另一个不同之处:路径'$.product_offer.productNam
浏览 51
提问于2019-09-03
得票数 0
1
回答
如何更新
Spark
中的数据框列
json
、
scala
、
dataframe
、
apache-spark
50"}, {"A": "20", "B": "30"}] | +------------------------+---------------------------------------+
spark
浏览 22
提问于2021-08-04
得票数 1
回答已采纳
2
回答
Scala
Spark
如何将列array[string]转换为包含JSON数组的字符串?
scala
、
apache-spark
、
apache-spark-sql
我有一个包含字符串数组的列,我需要将它转换为JSON字符串列表吗?原始值:[a,b,c]转换值:"[\"a\",\"b\",\"c\"]"
浏览 45
提问于2018-07-26
得票数 2
回答已采纳
2
回答
来自Json字符串的
Spark
dataframe,带有嵌套键
json
、
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
import
spark
.implicits._ ("1", """{"k": "foo", "v": 1.0}""", "some_other_field_1"),false) .withColumn("other1",col("o
浏览 33
提问于2021-04-25
得票数 0
回答已采纳
1
回答
Spark
中不支持JSONPATH通配符的任何解决方法
scala
、
apache-spark
、
apache-spark-sql
spark
.sql("""select
get_json_object
('{"k":{"value":"abc"}}', '$.*.value') as j""").show()但是是否有一种方法来实现这是
Spark
。
浏览 4
提问于2022-02-17
得票数 2
回答已采纳
1
回答
使用Scala解析字符串列以获得日期格式的数据
scala
、
apache-spark
、
apache-spark-sql
、
user-defined-functions
我的.avro文件中有一个类型为String的列(.avro),我需要使用Scala获得yyyy:mm:ss格式的数据(如预期的输出所示)。请让我知道是否有任何方法可以通过编写一个UDF来实现这一点,而不是使用我下面的方法。任何帮助都将不胜感激。 "TriggeredDateTime": {"dateTime":{"date":{"year":2019,"month":5,"day":16},"time":{"hour":4,"minute":56,
浏览 3
提问于2019-11-21
得票数 1
回答已采纳
1
回答
如何在Apache
Spark
中分解JSON数组
apache-spark
、
apache-spark-sql
给定一个包含JSON数组的
spark
2.3 DataFrame,我如何将这些数组转换为JSON字符串的
Spark
数组?这也不同于查询是对特定键的查找的情况,
get_json_object
确实涵盖了这一点。我的后盾是编写一个UDF,它接受JSON字符串并返回一个
spark
数组,但UDF往往比内置的慢,爆炸性的JSON很可能是核心的
Spark
功能。为什么要重写基础知识呢?
浏览 2
提问于2018-09-17
得票数 2
1
回答
Spark
Read Json:如何读取在整型和结构型之间交替的字段
apache-spark
、
pyspark
、
databricks
尝试将多个json文件读取到一个dataframe中,两个文件都有一个"Value“节点,但此节点的类型在整数和结构之间交替:{}{ "Value": "On", "IsSystemValue": true}|---------------------|-
浏览 5
提问于2020-06-06
得票数 1
回答已采纳
1
回答
如何使用PySpark从现有临时表中解析json字符串?
apache-spark
、
pyspark
、
spark-dataframe
我有一个现有的
Spark
dataframe,它的列如下:pid | response 12 | {"status我在网上查找了一些使用explode和后来的视图的示例,但它似乎不适用于
Spark
2.1.1
浏览 2
提问于2017-09-07
得票数 8
回答已采纳
1
回答
配置单元嵌套
get_json_object
在select查询中工作良好,但在create table中返回null作为select查询-奇怪的行为
sql
、
hive
get_json_object
(column3,concat(
get_json_object
())),as field_of_interest 我编写了上面的构造我在其他列中使用
get_json_object
,它们不是嵌套的。它们可以很好地填充。只有这一列没有。 这可能是什么原因造成的?我该如
浏览 33
提问于2019-02-26
得票数 0
1
回答
如果数组列中存在值,则筛选行
pyspark
、
apache-spark-sql
注意:我在
Spark
2.4.4工作col1 ['{"key1": "val1"}','{"key2":key2": "val2"}']any_match(col1, x -> json_e
浏览 8
提问于2022-05-12
得票数 0
回答已采纳
1
回答
使用pyspark将多级JSON转换为dataframe
pyspark
、
apache-spark-sql
、
pyspark-dataframes
我试着用代码df =
spark
.read.json(sc.wholeTextFiles
浏览 0
提问于2019-12-30
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
走进大数据 Spark-Spark streaming
Spark实战(5)_Spark Core核心编程
Spark及Spark Streaming 核心原理及实践
Spark基础学习笔记-Spark执行原理分析
Spark源码和调优简介 Spark Core
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券