腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
解析
嵌套
的
json
文件
spark
/pyspark
、
我在使用
spark
解析
嵌套
的
json
文件时遇到了一个挑战:myJson = '{"Name":"something","Url":"https://stackoverflow.com","Author":"jangcy","BlogEntries":100,"Caller":&q
浏览 11
提问于2022-03-11
得票数 0
1
回答
在Scala中
嵌套
JSON
到dataframe
、
我使用
Spark
/Scala来发出API请求,并将响应
解析
为dataframe。下面是用于测试目的的示例
JSON
响应: 但是,我尝试使用下面的来转换为
JSON
,但是
嵌套
的字段没有被处理。是否有任何方法将
JSON
字符串转换为带有列的dataframe?
浏览 16
提问于2022-08-22
得票数 0
4
回答
在
Spark
流SQL中
解析
嵌套
JSON
字符串列
、
、
、
我遵循星火流指南,并能够使用sqlContext.read.
json
(rdd)获取
json
数据的sql上下文。问题是,
json
字段之一是我希望
解析
的
JSON
字符串本身。是否有一种方法可以在
spark
中完成这一任务,或者使用ObjectMapper
解析
字符串并将其连接到其他数据中会更容易吗?为了澄清,
JSON
的一个值是一个字符串,其中包含带有转义内部引号的
JSON
数据。我正在寻找一种方法来告诉
解析
器将该值视为字符串化的
浏览 12
提问于2016-01-04
得票数 4
回答已采纳
1
回答
如何在
spark
scala中将字符串中包含双引号的
json
文件加载到dataframe中
、
、
、
、
我有以下
json
文件,我想将其读取到数据帧中,但由于
json
文件在string.for示例中有双引号,因此我遇到了错误: 数据:{ "Field1":"val"ue 1","Field2":"value2
浏览 162
提问于2021-09-20
得票数 1
回答已采纳
3
回答
如何使用
spark
scala
解析
Hive/Hbase列中可用的
嵌套
JSON
、
、
如何使用
spark
scala
解析
和扁平化Hive/Hbase列中的
嵌套
JSON
?示例: "fruit": "Apple", "LineNumber": 2, "T
浏览 1
提问于2019-04-17
得票数 0
1
回答
如何最好地处理模式冲突,将MongoRDD转换为DataFrame?
、
、
、
、
我正在尝试从mongo数据库中读取一些文档,并在
spark
中
解析
模式。到目前为止,我已经成功地从mongo读取并使用由case类定义的模式将结果mongoRDD转换为DataFrame,但是有一种情况是,mongo集合有一个包含多个数据类型的字段(字符串数组和
嵌套
对象数组到目前为止,我只是将字段
解析
为一个字符串,然后使用
spark
的from_
json
()来
解析
新模式中的
嵌套
对象,但是我发现当一个字段不符合模式时,它返回模式中所有字段的null -而不仅
浏览 6
提问于2020-03-04
得票数 1
回答已采纳
1
回答
Spark
动态
Json
解析
成键值字符串
、
、
、
、
我试图动态地将一个通用的
json
转换成键值字符串(至少3层
嵌套
)。例如:
Json
:结果:键值字符串类似于:在这里,键可能是任何东西,所以不能使用键的硬编码字符串值来
解析
。我尝试通过rdd =
spark
.sparkContext.wholeTextFiles("s3:///jsontest/*.
json
浏览 28
提问于2020-11-16
得票数 0
1
回答
使用SCALA
解析
嵌套
JSON
数据
、
、
这是
JSON
文件https://drive.google.com/file/d/1Jb3OdoffyA71vYfojxLedZNPDLq9bn7b/view?usp=sharing id
浏览 6
提问于2022-03-22
得票数 0
回答已采纳
1
回答
使用
Spark
从BigQuery读取包含
JSON
字符串的列
、
、
、
我在BigQuery中有一个表,我正在使用
spark
阅读它。但是,当我尝试访问列
嵌套
的
JSON
值时,我无法使用from_
json
。,我使用withColumn和from_
json
使用我的模式创建一个列,在该列中我可以访问
JSON
字符串中的
嵌套
字段。SparkSession
spark
= SparkSession.builder() .appName("
spark
-bigquery-pipeline&
浏览 3
提问于2022-10-12
得票数 1
回答已采纳
1
回答
如何
解析
混合
嵌套
和非
嵌套
结构的
json
?
、
、
、
、
在文件1中,
JSON
元素"image“是
嵌套
的。正确地推断出了结果模式:df1.printSchema |-- id:: val df2 =
spark
.read.
json
("/xxx/xxx/xxx/nested2.<em
浏览 0
提问于2017-10-29
得票数 1
回答已采纳
3
回答
将一列
json
字符串转换为结构
、
、
我有一列
json
字符串,希望能够将它们转换为结构,类似于SQLContext.read.
json
()如何在文件的初始读取时进行转换。 或者,有办法
嵌套
我的DataFrames吗?我也可以这么做。
浏览 3
提问于2016-07-21
得票数 0
回答已采纳
1
回答
结构化流如何动态
解析
kafka的
json
数据
、
、
从kafka收到的数据采用
json
格式。我的代码如下所示:在代码中,我使用from_
json
函数将
json
转换为dataframe以供进一步处理。",new StructType() . ) .load()
浏览 3
提问于2019-10-15
得票数 4
回答已采纳
2
回答
火花:如何
解析
嵌套
列表的
JSON
字符串以激发数据框架?
、
、
、
如何
解析
嵌套
列表中的
JSON
字符串以激发pyspark中的数据帧?|示例代码:import pyspark.sql.functions as F df =
spark</
浏览 1
提问于2021-02-08
得票数 2
回答已采纳
1
回答
有没有任何方式检查
json
文件中的实际损坏记录?
、
、
、
我的
Json
文件看起来像这样 """{ "b":2 }""" val data2=data.toDF()当我运行这段代码时,我得到了一个名为“_corrupt_record”的表,.
浏览 6
提问于2019-11-18
得票数 2
1
回答
Spark
Structured Streaming Databricks Event Hub模式定义问题
、
、
、
我在定义
json
文档的结构时遇到了问题。 现在,我正尝试在streamread上执行相同的模式。vendor:StringType>, True), val df =
spark
我可以从event hub消息的正文中获得
json
字符串,但是如果我不能让模式工作,我不确定从那里做什么。
浏览 0
提问于2019-06-27
得票数 0
1
回答
数据库中的_corrupt_record列在使用
JSON
(PySpark)时产生空值
、
、
、
、
headers=api_call_header)df =
spark
.read.
json
(sc.parallelize(api_
json
))这将
解析
第一个键
浏览 3
提问于2022-09-09
得票数 0
回答已采纳
1
回答
Pyspark Structred Streaming Parse
嵌套
Json
、
、
、
、
我的项目是,写
json
到Kafka主题,并从kafka主题读取
json
,最后下沉一个csv。一切都很好。但有些关键字是
嵌套
的
json
。如何
解析
json
中的列表?示例
Json
: {"a": "test", "b": "1234", "c": "temp", "d": [{"test1": "car&quo
浏览 14
提问于2020-01-12
得票数 0
1
回答
Scala
Spark
Dataframe中的扁平
嵌套
json
、
、
、
我无法使用dataframes的爆发函数,因为我不知道列名,它是由
spark
创建的。1.可以通过解码dataframe.schema.fields中的值来存储
嵌套
数组元素的键,因为
spark
只提供数据行中的值部分,并以顶层键作为列名。.|是否有任何最佳方法通过在运行时确定模式来使用dataframe方法来平平
json
。"Spring Boot" ] }} 注意-我们需要在datafr
浏览 4
提问于2020-05-18
得票数 5
回答已采纳
2
回答
使用DataFrame将
嵌套
JSON
解析
为
Spark
、
、
、
我非常希望在使用PySpark
解析
嵌套
JSON
数据方面提供一些帮助。数据有以下模式(为了保密目的,空格是编辑的.)-我的目标--我本质上想要将数据放入下面的数据框架我试过 result.createOrReplaceTempView('
浏览 3
提问于2020-03-20
得票数 1
1
回答
运行
spark
.read.
json
时在
json
中找到重复列,即使没有重复列
、
、
、
我正在使用下面的查询读取
JSON
文件,但得到重复的列错误,即使没有重复的列。我可以使用其他工具和
JSON
验证器来读取它,也可以使用数据流,但不能在PySpark中读取。PySpark查询如下:
spark
.read.option("multiline", "true") .load( "abfss://<Container>]@<
浏览 3
提问于2021-11-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Gson解析Json数据
Python3 JSON 数据解析|Python JSON Parsing
Groovy解析及处理JSON
python渐进-html和json解析
Django rest framework中使用 ViewSet 和Router序列化成嵌套json
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券