如何在Hadoop中管理JSON
如何在Hadoop中管理JSON
提问于 2021-11-15 13:48:56
Hadoop 如何管理JSON文件？
假设某些JSON文件存储在HDFS中，并且每个JSON与其他JSON不同，我想输出通过查询创建的JSON。就像MongoDB。
例如，我向您展示了这个伪代码：
FOR EACH json IN hdfs:
name = json.NAME
IF json HAS this_attribute:
x = json.this_attribute.value
CREATE A CSV THAT CONTAINS ALL INFO REQUIRED (name, x)
RETURN CSV在MongoDB中，生成这个输出是最容易的。但我对一个不可能使用MongoDB的项目感兴趣。
Stack Overflow用户
发布于 2021-11-15 14:06:35
我认为在HDFS中最容易使用的工具是火花。它为您提供了许多丰富的工具，包括许多比将文本信息存储为文本、CSV或JSON更好的富文件格式。我建议您在使用大数据时使用非文本的文件格式进行调查。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69975437
复制相关文章
相似问题
腾讯云开发者
