非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
提问于 2015-11-12 16:40:12
我有一个非常长的对象数组，大小约为10万项，就在我将其写入文件之前，我将数据传递到JSON.stringify
我知道这个错误：
JSON.stringify(
^
RangeError: Invalid string length如何成功地压缩一个非常大的json对象？
更新：
自从我最初写了这个问题以来，我对处理大量数据变得更加熟悉了，我更喜欢在这个过程中使用Apache。在Spark中，通常不使用大型JSON数组，而是使用包含长字符串JSON (每行一个对象)的流或文件。文件如下所示：
{"name":"kristian", "favoriteSong":"enter sandman"}
{"name":"joshua", "favoriteSong":"penny lane"}
{"name":"susan", "favoriteSong":"all about that bass"}这很好，因为：
- 您可以任意处理太大的文件，也可以很容易地进行一些无逻辑的文件拆分，并将其转换为1000个较小的文件，如果逻辑是简单地在某个断行号N处破坏该文件。
- 更好的是，您永远不会遇到一个潜在的可怕问题，即在您的手上有一个损坏的数据文件，这是由一个未关闭的JSON数组引起的。
- 文件中的大型JSON数组往往没有换行，因此在VIM或其他编辑器中打开大型文件是很痛苦的，因为它试图将整个程序加载到内存中，而不是带有换行的文件，因为它可以轻松地将前10行左右的内容加载到屏幕上，而不会出现问题。
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-11-12 16:42:00
如何成功地压缩一个非常大的json对象？
分成几部分？例如，将数组分解为较小的部分，在较小的部分上使用JSON.stringify，并将每个段追加到文件中(您必须执行一些[、,和]处理)。
Stack Overflow用户
发布于 2017-03-25 01:42:13
我发现JSON.stringify是本机JSONStream的可靠替代品，它可以很好地处理大型对象。例如：
var fileSystem = require( "fs" );
var JSONStream = require( "JSONStream" );
var records = [
{ id: 1, name: "Terminator" },
{ id: 2, name: "Predator" },
{ id: 3, name: "True Lies" },
{ id: 4, name: "Running Man" },
{ id: 5, name: "Twins" }
// .... hundreds of thousands of records ....
];
var transformStream = JSONStream.stringify();
var outputStream = fileSystem.createWriteStream( __dirname + "/data.json" );
transformStream.pipe( outputStream );
records.forEach( transformStream.write );
transformStream.end();
outputStream.on(
"finish",
function handleFinish() {
console.log("Done");
}
);从这里获取示例代码。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/33676674
复制相关文章
相似问题
腾讯云开发者
