将较大的JSON文件转换和分割为较小的Parquet文件
将较大的JSON文件转换和分割为较小的Parquet文件
提问于 2018-06-02 03:33:49
我在亚马逊S3中有超过1200个JSON文件，我需要转换成拼图并分割成更小的文件(我正在为红移光谱做准备)。我已经尝试创建了一个Lambda函数，它为我创建了一个文件。但是该函数需要太长时间才能完成，或者消耗大量内存，因此在完成之前就结束了。文件大小约为3-6 GB。
顺便说一句。我使用Python。
我不想为此启动EC2，因为这需要永远完成。
我想要一些关于如何实现这一点的建议。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-06-02 03:38:04
AWS Glue对于这类任务非常有用。您可以创建一个胶水作业，将json格式的day转换为拼图格式，并将其保存到您选择的S3存储桶中。https://aws.amazon.com/blogs/big-data/build-a-data-lake-foundation-with-aws-glue-and-amazon-s3/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50650005
复制相关文章
相似问题