腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Node.js
:
如何
逐个
处理
大
JSON
文件
的
对象
,
避免
堆
限制
错误
node.js
、
worker-thread
、
event-stream
我正在尝试使用工作线程来
处理
几百个
json
.gz
文件
。在某些情况下,由于3个大
文件
(每个解压后大约3 3gb ),我得到了js
堆
限制
错误
。我试图找到一种方法来
逐个
处理
每个
文件
的
对象
,但我所获得
的
只是一次
处理
文件
的
所有
对象
。下面是目前
的
worker代码: for (le
浏览 12
提问于2021-11-09
得票数 0
回答已采纳
3
回答
什么是压缩away响应以
避免
6MB
限制
的
好方法?
node.js
、
amazon-web-services
、
aws-lambda
、
zip
、
aws-api-gateway
我有Lambda,它执行几次对DynamoDB
的
调用,创建一个
大
的
字符串化
JSON
对象
作为响应,并通过API传递给客户端应用程序。当然,API有“内容编码启用”选项集,所有数据都以压缩
的
形式在互联网上传递。 问题是Lambda响应本身没有被压缩,并且达到了6MB
的
响应
限制
。我检查了
node.js
库,如JSZip和ADM Zip,并且惊讶地发现,尽管它们允许在内存中输出解压缩数据,但它们不允许字符串、缓冲区或smth之类
的</e
浏览 7
提问于2020-05-26
得票数 4
回答已采纳
1
回答
在Nodejs中解析大型
JSON
文件
,独立
处理
每个
对象
javascript
、
json
、
node.js
、
parsing
我需要在Nodejs中读取一个
大
的
JSON
文件
(大约630MB),并将每个
对象
插入到MongoDB中。然而,答案是逐行
处理
JSON
文件
,而不是
逐个
对象
地
处理
它。因此,我仍然不知道
如何
从这个
文件
中获取
对象
并对其进行操作。 我
的
JSON
文件
中大约有100,000个这样
浏览 2
提问于2017-03-20
得票数 25
回答已采纳
2
回答
从发送巨大
的
json
对象
java
、
json
、
servlets
返回
JSON
对象
。response.setContentType("application/
json
");
JSON
对象
包含从表(数据库)大小大于50 MB
的
数据。在运行时,servlet抛出此
错误
:问题似乎是在编写
json
数
浏览 2
提问于2014-08-22
得票数 1
回答已采纳
1
回答
作为cron作业运行时
node.js
内存不足
node.js
、
azure
、
cron
我编写了一些JavaScript代码,它在
node.js
下运行,可以将一个大
文件
(~20 MB)备份到Azure blob中。这在从bash shell运行时有效,但在以cron作业
的
形式运行时(在这两种情况下以根用户身份运行),会出现以下
错误
:这大概意味着
堆
空间用完了,但是cron作业
的
限制
设置在哪里呢?
Node.js
为0.8.1版,Azure来自
文件</em
浏览 6
提问于2012-07-02
得票数 0
3
回答
使用字节数组时
的
堆
碎片
c#
、
bytearray
、
large-object-heap
、
memory-fragmentation
我有一个C# 4.0应用程序(单一生产者/单一消费者),它以块
的
形式传输大量数据。虽然没有新
的
内存分配,但我会在一段时间后耗尽内存。BlockingCollection<byte[]>(8);segments.Add(buffer);byte[] buffer = _segments.Take();
如何
避免
托管内存碎片
浏览 3
提问于2011-04-18
得票数 16
回答已采纳
1
回答
在C# .Net 6中快速查找元素是否包含
JSON
格式
的
数据
c#
、
json.net
、
system.json
在C# .Net 6中,确定元素或字符串是否包含
JSON
格式数据
的
最有效方法是什么。将有数十亿行要搜索,并且不知道使用
JSON
.Net、System.
JSON
或regex表达式或其他方式是否计算成本最低。理想情况下,.containsJson方法
的
基础是短路一个完全限定
的
JSON
文档,很可能它是
JSON
格式
的
数据。
浏览 5
提问于2021-12-15
得票数 0
回答已采纳
3
回答
用Spark转换一个非常
大
的
JSON
文件
的
最快方法是什么?
scala
、
apache-spark
我有一个相当
大
的
JSON
文件
(),其中有很多单个
JSON
对象
。这些
JSON
对象
包含我想要为特定
的
培训任务预
处理
的
文本,但是我需要在这里加速它
的
预
处理
。一个
JSON
对象
如下所示: "reviewerID": "A2SUAM1J3GNN3B", "asin":
浏览 3
提问于2016-04-01
得票数 3
回答已采纳
1
回答
将.md转换为.docx
文件
时出现
的
Pandoc
错误
runtime-error
、
pandoc
、
virtualalloc
在尝试使用命令行将.md转换为docx
文件
时:我发现了以下
错误
: getMBlocks: VirtualAllocMEM_COMMIT失败:分页
文件
太小,无法完成此操作。
浏览 20
提问于2021-12-26
得票数 1
3
回答
“超出OutOfMemoryError: GC开销
限制
”:用java解析大型
json
文件
java
、
json
、
parsing
、
garbage-collection
我尝试用Java解析大型
json
文件
(更多600 to )。我
的
json
文件
看起来是这样
的
: "0" : {"link_id": "2381317", "overview": "mjklmklmklmklmk", "founded": "2015",www.google2.com", "name": &qu
浏览 11
提问于2015-09-11
得票数 1
回答已采纳
2
回答
如何
在JavaScript或
Node.js
中创建用于
JSON
序列化
的
安全
对象
javascript
、
node.js
、
recursion
、
json
我
的
愿望是以一种“安全”
的
方式将给定
对象
编码为
JSON
。这是为了记录
Node.js
中
的
任何抽象
对象
,但也可以应用于其他需求。我
的
研究向我指出了Node中
的
util.inspect,但这不是有效
的
JSON
,我
的
愿望是拥有有效
的
JSON
,以便稍后可以重新水化。因为一些
错误
实例可能会有递归问题,所以我需要
限制
响应。此
浏览 0
提问于2012-11-28
得票数 1
回答已采纳
1
回答
V8
如何
处理
“
大
对象
空间”中
的
对象
javascript
、
garbage-collection
、
javascript-objects
、
v8
我在V8 wiki中读到
堆
中有很大
的
对象
空间,不被GC移动。 function Point() { this.a =
浏览 1
提问于2017-12-07
得票数 0
回答已采纳
3
回答
内存耗尽(
json
_decode)
php
、
json
、
memory
当我
的
应用程序试图解码大型(15K~行)
JSON
字符串(来自CURL)时,它会失败,因为: 为了确保这个问题不是由应用程序中
的
任何其他函数/循环引起
的
,我已经将
JSON
字符串解压缩到一个
浏览 0
提问于2014-07-17
得票数 5
2
回答
将文档添加到文档列表时
的
Java
堆
空间
java
、
xml
、
out-of-memory
我有一段代码可以从arraylist fileList中解析xml
文件
,需要解析
的
xml
文件
超过2000个,并且xml
文件
的
大小约为30-50 Kb,解析这些
文件
没有问题: e.printStackTrace();,但是每当我将它们添加到列表中时,就会出现这样
的
错误
: 线程“主”c
浏览 3
提问于2014-01-18
得票数 1
1
回答
Node.js
:在不耗尽内存
的
情况下
处理
流
node.js
、
stream
、
file-processing
我正在尝试读取一个巨大
的
日志
文件
(250,000行),将每一行解析成一个
JSON
对象
,并将每个
JSON
对象
插入到CouchDB中进行分析。我试图通过创建一个单独
处理
每个块
的
缓冲流来做到这一点,但我总是在大约300行之后耗尽内存。看起来使用和应该可以
避免
这种情况,但显然不是。(也许有比
node.js
和CouchDB更好
的
工具,但我对学习
如何
在
node.js
中进行这种
浏览 0
提问于2012-07-07
得票数 0
1
回答
在c#中
处理
大内存列表时
如何
避免
垃圾排序问题
c#
、
garbage-collection
我们
的
文章-标签关系在SQL性能上有一些问题,所以我们决定将文章/标签保存在内存中,这给了我们很大
的
提升,但现在当整个列表被删除并被新
的
列表(3m +记录)取代时,垃圾收集给我们带来了令人头疼
的
问题。} public int ViewCountSum { get; set; } } 正如您所看到
的
,此时,GC
的
cpu时间跳跃到60-90%,持续2-3秒。 有什么想法可以改进这段
浏览 31
提问于2021-02-11
得票数 0
回答已采纳
1
回答
Chrome RangeError:使用jQuery $.map时超过最大调用堆栈大小
javascript
、
jquery
、
google-chrome
、
web-applications
、
browser
我正在为我
的
雇主测试一个web应用程序,它涉及从服务器获取大量数据。数据使用函数作为
JSON
对象
返回,包含大量
的
子
对象
,我使用jQuery
的
函数将这些子
对象
转换为数组,如下所示 data_points = $.map(result.data.LotsOfIt, function这似乎耗尽了色度堆栈大小
的
限制
,每次运行这个函数,Chrome都会抛出一个RangeError:最大调用堆栈大小超过。如果我减少返回
的
数据量,
浏览 0
提问于2012-08-02
得票数 4
2
回答
为什么
对象
类型需要动态内存而原始类型需要静态内存?
heap-memory
、
primitive-types
、
stack-memory
、
object-type
我在读关于内存分配
的
概念。在我发现一条语句中,
对象
类型需要动态内存,而基本类型需要静态内存,它们证明了这样做是正确
的
,如果需求是动态内存
的
,则在堆上分配,否则就在堆栈上分配。谢谢
浏览 5
提问于2012-11-06
得票数 0
1
回答
Python:
如何
编写jsonline而不覆盖?
python
、
python-multiprocessing
、
jsonlines
我有一段代码,它
处理
一个目录中
的
数千个
文件
,对于每个
文件
,它生成一个
对象
(字典),其键值
的
一部分如下: {} 如果我
处理
所有
文件
,将结果保存在一个列表中,然后使用jsonline库写入所有
文件
,我
的
笔记本电脑(mac)将耗尽内存。因此,我
的
解决方案是
逐个
处理<
浏览 54
提问于2019-01-30
得票数 0
回答已采纳
1
回答
CSV到Cloudant导入大数据集
node.js
、
csv
、
amazon-s3
、
cloudant
、
csvtojson
我对此脚本
的
处理
方法如下: streams.Script2:Script1:使用FTP从远程服务器下载zip
文件
,对下载
的
压缩
文件
进行迭代,并从中提取CSV
文件
。将每个
JSON
对象
逐一检查现有的cloudant文档,如果找到了request.Script2:文档,则使用
JSON
对象
进行更新,否则,将cloudant创建为新文档,并为same.Script2:提供单独
的
到目前为止,什么是有效
的
浏览 4
提问于2020-04-22
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Webpack轻松入门(一)——基本流程
Webpack轻松入门(一)
Node.js中的事件循环是如何工作的
Spring Boot与Kotlin Web应用的统一异常处理
jQuery文档之Ajax
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券