腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Spark
定制
JSON
输出
的
格式
json
、
apache-spark
、
jackson
我有一个包含一堆BigDecimal值
的
数据集。我希望将这些记录
输出
到
JSON
文件中,但是当我这样做时,BigDecimal值通常会被写成尾随零(123.4000000000000),但是我们必须遵守
的
规范不允许这样(原因我不明白)。我正在尝试看看是否有一种方法可以覆盖数据打印到
JSON
的
方式。目前,我最好
的
想法是
使用
JACKSON将每条记录转换为字符串,然后
使用
df.write().text(..)而不是
JSON
写
浏览 23
提问于2019-02-11
得票数 0
回答已采纳
1
回答
Spark
SqlContext
输出
JSON
格式
java
、
json
、
postgresql
、
apache-spark
我已经
使用
Spark
SqlContext从postgres数据库中检索了数据。") .options(options).load(); d
浏览 9
提问于2016-09-08
得票数 1
回答已采纳
1
回答
使用
Spark
Scala将Array[Byte]转换为
JSON
格式
json
、
scala
、
apache-spark
、
apache-spark-sql
、
spark-avro
我正在读取一个.avro文件,其中特定列
的
数据是二进制
格式
。我目前正在UDF
的
帮助下将二进制
格式
转换为字符串
格式
,以达到可读
的
目的,最后,我将需要将其转换为
JSON
格式
,以便进一步解析数据。有没有办法
使用
Spark
Scala代码将string对象转换为
JSON
格式
? 任何帮助都将不胜感激。val avroDF =
spark
.read.format("
浏览 23
提问于2019-09-06
得票数 0
1
回答
摄食
的
StreamSets设计
streamsets
亲爱
的
, 我有几种数据类型(csv,tsv,
json
,来自IOT
的
二进制文件),需要由CDC捕获并以as-is
格式
保存到Kafka相同
的
JSON
消息将以Avro
格式
保存到HDFS数据湖中进行批处理。然后,假设
JSON
数据已经准备就绪,并且可以进一步丰富其他数据,以便进行可伸缩
的
复杂转换,我将
使用
浏览 0
提问于2018-06-11
得票数 1
2
回答
即使将multiline选项设置为true,
Spark
也不会加载单个文件中
的
所有多行
json
对象
apache-spark
、
apache-spark-sql
我
的
json
文件如下所示,它有两个多行
的
json
对象(在一个文件中) "name":"John Doe",} "name":"Jane Doe",} 因此,当我加载多行
json
dataframe时,它应该加载两个
json
,而不是只
浏览 92
提问于2019-12-04
得票数 1
回答已采纳
1
回答
使用
Pyspark处理
JSON
结构
json
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我是
spark
的
新手,正在尝试将以下
格式
的
JSON
文件读取到
spark
数据帧中。这是我
的
JSON
格式
“元素”:[ Q4Name:ABC,Age:45,{Language:English,Title: Engineer{Language:English,Titl
浏览 13
提问于2019-09-11
得票数 1
1
回答
使用
示例属性中
格式
不太好
的
JSON
生成
的
API文档
asp.net-core
、
asp.net-web-api
、
swashbuckle
、
swashbuckle.aspnetcore
在将Swashbuckle.AspnetCore从5.3.0升级到6.1.4之后,我面临一个与swagger.
json
文件相关
的
问题,如下面的截图所示。它使得
JSON
文件没有良好
的
格式
化。我试着在其他项目中复制,但它没有发生。
浏览 1
提问于2021-11-25
得票数 0
1
回答
将DataFrame序列化为无效
的
json
json
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
TL;DR:当我将火花DataFrame抛出为
json
时,我总是以这样
的
方式结束{"key1": "v12", "key2": "v22"}这是无效
的
json
。
浏览 0
提问于2018-01-29
得票数 5
回答已采纳
1
回答
Spark
Dataframe到TXT文件,不带回车符
scala
、
csv
、
dataframe
、
apache-spark
、
apache-spark-sql
我正在尝试将
spark
数据帧保存为文本文件。在这样做
的
时候,我需要有特定
的
列分隔符和行分隔符。我无法使行分隔符正常工作。任何帮助都将不胜感激。以下是示例代码以供参考。//option -1df.coalesce//option-2
浏览 2
提问于2019-09-25
得票数 1
1
回答
Spark
Streaming正在阅读Kafka主题以及如何将嵌套
的
Json
格式
转换为dataframe
apache-spark
、
pyspark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
我能够从Kafka topic读取数据,并能够
使用
spark
streaming在控制台上打印数据。
spark
= SparkSession \ .appName("StructuredSocketRead") \
spark
.sparkContext.setLogLevel('ERROR') lines =
浏览 0
提问于2020-11-03
得票数 0
1
回答
有没有任何方式检查
json
文件中
的
实际损坏记录?
json
、
scala
、
dataframe
、
apache-spark
我
的
Json
文件看起来像这样 """{ "b":2 }""" val data2=data.toDF()当我运行这段代码时,我得到了一个名为“_corrupt_re
浏览 6
提问于2019-11-18
得票数 2
6
回答
星星之火: DataFrame.saveAsTable或DataFrameWriter.options可以传递哪些选项?
scala
、
hadoop
、
apache-spark
、
hive
、
parquet
无论是开发人员还是API文档都没有提供任何关于可以在DataFrame.saveAsTable或DataFrameWriter.options中传递哪些选项
的
参考,它们会影响Hive表
的
保存。我希望,在这个问题
的
答案中,我们可以聚合信息,这将有助于星火开发商谁想要更多地控制星火如何保存表,也许,也许,为改进星火
的
文档提供基础。
浏览 3
提问于2015-07-18
得票数 26
回答已采纳
1
回答
无法在Elasticsearch-hadoop中
使用
SchemaRDD.saveToES()从HDFS索引
JSON
json
、
scala
、
elasticsearch
、
apache-spark
、
apache-spark-sql
这是我第一次真正尝试
spark
/scala,所以要温文尔雅。 我在HDFS上有一个名为test.
json
的
文件,我正在尝试
使用
Spark
读取和索引该文件。我可以通过SQLContext.jsonFile()读取文件,但是当我尝试
使用
SchemaRDD.saveToEs()时,我得到了一个接收到无效
JSON
片段
的
错误。我认为saveToES()函数实际上并没有
格式
化
json
格式
的</
浏览 1
提问于2015-02-20
得票数 0
1
回答
火花流:将Dstream批连接到单个
输出
文件夹中
hadoop
、
apache-spark
、
spark-streaming
、
apache-spark-sql
、
twitter-streaming-api
我
使用
星火流从twitter中获取tweet,方法是创建StreamingContext,如下所示:然后将其保存为文本文件问题是,根据批处理时间,tweet
浏览 9
提问于2015-05-14
得票数 0
回答已采纳
1
回答
将带有字符串列
的
星体数据转换为StructType列
apache-spark
、
pyspark
、
apache-spark-sql
我有一个CSV文件,标题为"message“,行为{"a":2,"b":"hello 2","c":"2345"}df1 =
spark
.read.format("csv").option("header&qu
浏览 2
提问于2020-01-26
得票数 0
回答已采纳
1
回答
将文件名
输出
到pyspark中
的
最终文件夹
pyspark
、
azure-data-lake-gen2
我想要将数据写入
输出
文件夹,而不
使用
标准
格式
spark
: ? 有没有办法
输出
只有一个特定
的
文件名和扩展名(
json
)
的
数据? 提前感谢您
的
帮助!
浏览 19
提问于2019-12-10
得票数 1
回答已采纳
2
回答
如何
使用
FileFormat
格式
的
更新
输出
模式?
scala
、
apache-spark
、
spark-structured-streaming
我正在尝试在更新
输出
模式下
使用
spark
structured写入文件。我找到了,只要配置了控制台
格式
,它就能正常工作。但如果我将
输出
模式更改为: .writeStream .format("
json
"): Data source
json
does not support Update output mode;
浏览 12
提问于2018-02-28
得票数 3
1
回答
如何读取和扭动文本文件
的
火花与嘲讽?
scala
、
apache-spark
有一些放在目录结构中
的
文本文件,如:需要读取,然后过滤掉一些行,然后对相同
的
结构执行写操作,比如。那么,是否有一种方法可以读取带有分区
的
文本文件并以相同
的
分区结构
输出
它们呢? P.S.问题是关于正常
的
火花解决方案,而不是列出所有的饲料,并在代码中手动遍历它们。
浏览 5
提问于2022-03-28
得票数 0
2
回答
将
Json
字符串从
Spark
立即索引到Elasticsearch
java
、
json
、
scala
、
apache-spark
、
elasticsearch
有没有可能将
JSON
字符串直接从
Spark
索引到Elasticsearch?我不想有任何中间
的
Scala case类,或者POJOS。 val s = xml import org.
json
.XML XML.toJSONObject(x).toStringat org.apache.
spark<
浏览 0
提问于2017-08-17
得票数 1
1
回答
使用
读取多行
json
字符串
python
、
json
、
apache-spark
、
pyspark
我正在
使用
databricks笔记本中下面的pyspark代码将api
的
内容读入dataframe。我验证了
json
的
有效负载,并且字符串是有效
的
json
格式
。我想这个错误是由于多行
json
字符串造成
的
。下面的代码与其他
json
有效载荷一起工作得很好。:作为源
的
输出
格式
不正确。修改
的</em
浏览 2
提问于2021-03-09
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
Spark之SparkSQL
Spark 2.4 原生支持了avro,别再引用第三方库了
Spark 如何 post 数据
使用python将数据存入SQLite3数据库
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券