Apache Nifi -将大型Json文件拆分成具有指定记录数的多个文件
Apache Nifi -将大型Json文件拆分成具有指定记录数的多个文件
提问于 2019-11-28 04:09:19
我是Nifi的新手，想要一些指导。我们想要将一个大的Json文件分成多个具有指定记录数量的文件。我可以使用SplitJson将一个文件拆分为单独的记录，并将Json路径表达式设置为$..*。我还添加了一个UpdateAttribute处理器，将文件名设置为${ filename }_${fragment.index}，这样我们就可以获得文件的顺序，因为顺序很重要。但是，我们可能希望将100,000条记录拆分为100个文件，每个文件包含1000条记录。做这件事最简单的方法是什么？提前感谢！
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-11-28 15:28:00
有一个SplitRecord处理器。您可以定义每个文件要拆分的记录数，例如：
Record Reader CSVReader
Record Writer CSVRecordSetWriter
Records Per Split 3我已经用记录测试过了，
id
1
...
8它被分成3个文件，id = (1,2,3)，(4,5,6)，(7,8)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59077784
复制相关文章
相似问题
腾讯云开发者
