腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Nw.
js
/ large最适合大型数据集的嵌入式
数据库
?
、
、
、
、
我正在尝试使simpe桌面应用程序与电子或nw.
js
(尚未决定)。但我现在看到
数据库
有一个很大的问题。 我需要
处理
大约1-200
万条
记录,所以我开始搜索和测试。Sqlite看起来不错,它可以
处理
它,但它很难同时为nw和电子编译。总是有一些错误,我现在放弃了。所以我测试了NeDB。快,小,漂亮。在nw.
js
上插入200k记录后,
数据库
从未完全加载,无法执行计数操作。所以我从来没有机会用百
万条
记录来测试它。键/值
数据库
要做很多
浏览 4
提问于2017-09-22
得票数 2
1
回答
Ruby:批量加载对象是如何提高内存使用的?
、
、
我自学成才,不太确定术语或具体的改进--如果有的话--将对象加载分解为一个循环中的不同部分。find_in_batches所做的是将查询分离成多个子集,所以不是进行一个大型查询,而是创建10个小查询,而不是一次加载这么多对象。def batch_process batch.each(&:start_engine!) end # at the end of each iteration, is the
浏览 5
提问于2015-06-20
得票数 1
回答已采纳
1
回答
用RoR向Postgresql插入数千条记录
、
、
然后将这些信息保存到我的
数据库
中,并将这些数据(通过XML/API)发送到另一个web平台。谢谢我假设100.000 XML数据将在上午10:00至晚上10:00之间的白天发送。这是来自一位顾客的。我将把这些数据保存到我的
数据库
中(postgresql) 在开始时,我可以使用Amazon的RDS与可能的一个实例。但之后我必须缩
浏览 2
提问于2017-10-24
得票数 0
1
回答
使用单个MySQL
数据库
的多个服务器
、
、
、
它应该与不同网页的大型MySQL
数据库
一起工作(可能有2000万个,我希望MySQL能够
处理
这么多记录)。但是我需要在多个服务器之间共享对
数据库
的请求,因为一台服务器无法
处理
这样的负载。我想到了原始方法,如下所示: MySQL
数据库
位于独立的独立服务器上。MySQL
数据库
表包含一个字段,例如" server“字段,该字段具有特定的服务器名称,为此为MySQL服务器分配的记录连接MySQL服务器,并且只使用分配给该服务器的记录(通过查看该表中的”服务器“字段
浏览 1
提问于2010-12-11
得票数 0
1
回答
node.
js
非阻塞mongodb调用
、
、
、
我对Node.
js
相对来说还是新手,我正在从事一个以MongoDB为
数据库
的项目。一些MongoDB查询是昂贵的。例如,我有一个包含数百
万条
记录的集合,基于搜索条件,查找查询可能需要1-2秒。对MongoDB (使用猫鼬驱动程序)的调用是否阻止Node.
js
处理
其他请求,直到MongoDB返回结果?谢谢。
浏览 3
提问于2014-07-23
得票数 3
回答已采纳
1
回答
我们可以在同一次运行中多次执行分区程序吗?
、
、
我们希望在一次批
处理
中
处理
三百
万条
记录。最后,批
处理
将创建一个包含三百
万条
记录的文件。 因此,我们想创建一个分区程序,它将查询
数据库
中的100k条记录并对其进行
处理
。
浏览 1
提问于2020-11-03
得票数 0
1
回答
使用Mysql Connector for .NET批量插入
、
、
我确实要创建数百
万条
记录,我相信批
处理
将是一个很好的功能。谢谢,莱昂纳多
浏览 0
提问于2010-03-03
得票数 1
1
回答
Scriptella是否在写入CSV文件之前将所有记录读取到内存中
如果我从
数据库
读取1000
万条
记录,那么它在开始写入文件之前读取所有这1000
万条
记录,还是以批
处理
模式读取? 提前谢谢。
浏览 2
提问于2012-11-26
得票数 1
1
回答
轻量级图表能
处理
大数据集吗?比如120
万条
蜡烛时刻表?
、
我的数据集驻留在一个
数据库
中,它包含120
万条
蜡烛时刻表。 轻量级图表能
处理
大数据集吗?比如120
万条
蜡烛时刻表?
浏览 11
提问于2022-04-05
得票数 0
1
回答
Mongodb响应在200,000次记录后非常缓慢。
、
、
目前,我们的任务是从外部服务器获取100
万条
记录,对其进行
处理
并将其保存在db中。我们使用node.
js
获取记录,使用mongodb作为
数据库
。 我们决定将这个过程分成两个任务,获取记录并
处理
它。现在我们能够获取所有记录并将其转储到mongo中,但是当我们试图
处理
它时(我的意思是
处理
几个属性值,做一些简单的计算和更新属性),我们看到200,000记录周围的mongodb更新的响应非常慢。为了
处理
数据,我们需要一批1000条记录进行
处理
浏览 4
提问于2014-12-23
得票数 6
1
回答
用findOrCreate慢速插入
、
、
、
我从来没有试图调整任何
数据库
的性能,所以我有工厂配置。 我使用equelize.
js
的方法将数据插入到表中。我必须插入大约400
万条
记录,而这50
万条
记录花了28多个小时。
浏览 2
提问于2017-10-26
得票数 1
1
回答
大表上的MySQL查询优化
、
、
、
我正在用mysql查询一个有1200万个注册表的表,这些注册表是上述数据的一年。查询必须选择某些类型的数据(硬币、企业、类型等)。然后提供该数据特定字段的日平均值,因此我们可以在之后将其绘制成图表。我的梦想是能够实时完成这项工作,因此响应时间不到10秒,然而目前它看起来一点也不明亮,因为它需要4到6分钟。例如,其中一个where查询得到15万个寄存器,每天拆分大约500个,然后我们使用AVG()和GroupBy平均三个字段(不在where子句中)。SELECT `Valorizacion`.`fecha`, AVG(tir) AS `tir`, AVG(tirB
浏览 3
提问于2012-07-27
得票数 3
回答已采纳
1
回答
通过CSV导入客户
数据库
到关系
数据库
(MySQL)
、
、
我们正在开发一个功能,允许我们的用户将他们自己的客户/营销
数据库
从他们上传到我们服务器的CSV文件导入到我们的系统中。用户上传CSV文件,我们将其放入S3存储桶中,然后在
数据库
中的某处将该文件链接到给定用户,或者使用SQS或其他方法让自动化服务器知道要导入该文件,然后我们只需告诉用户他们的记录正在导入,并将在接下来的几分钟
浏览 1
提问于2012-06-02
得票数 1
1
回答
在C#中将大量记录写入通过存储过程返回的平面文件
、
、
、
我需要从Server
数据库
中检索大约100
万条
记录,并将这些记录写入许多平面文件(每个文件将包含100,000条记录) 你认为这是写这篇文章最有效的方法吗?我如何设置一个循环来确保所有的一百
万条
记录都被
处理
了。
浏览 0
提问于2018-04-06
得票数 3
1
回答
如何在spring message listener中
处理
大量消息
、
通过spring message listener在1小时内
处理
大容量(320
万条
消息)的最佳方式是什么?在监听消息的同时如何
处理
异常?在此期间如何写入
数据库
?
浏览 1
提问于2015-10-25
得票数 0
2
回答
C#缓存大数据表的位置
、
、
、
、
需要以相同的方式
处理
多个结果集。每个结果集都将有数百
万条
记录。我的项目是在Web中使用AngularJS。我在Oracle中使用ADO.net,而不是实体框架。
浏览 1
提问于2016-10-04
得票数 1
回答已采纳
1
回答
在红宝石中查找每一个,提高查询速度。
、
、
、
我想每天从我们的
数据库
中删除大约500万或更多的记录,这些记录实际上是过期的用户。我已经使用了"find_each“批
处理
来删除这些记录,但是只需1天就删除了100
万条
记录,所以删除500
万条
记录将需要5天的时间:(这太费时了。有没有快速的方法可以安全地从红宝石
数据库
中删除数百
万条
记录。now = Date.today @expired_users = ExportUser.where("status !
浏览 5
提问于2015-07-29
得票数 0
回答已采纳
1
回答
将数组放入WHERE in子句Ruby on Rails
、
、
、
我正在构建一个ruby on rails应用程序,它使用原始SQL来查询我的
数据库
,因为我听说它比使用ActiveRecord执行得更好。我有一个存储BigInts项列表的数组。
浏览 0
提问于2020-06-07
得票数 4
4
回答
Spring JDBCTemplate与Plain JDBC在插入大量记录方面的比较
、
、
我们必须在多个表中插入两百
万条
记录,现在我们正在写入CSV文件,并使用db2导入将其加载到
数据库
中。哪个框架会更好?
浏览 8
提问于2010-12-14
得票数 2
5
回答
使用PHP在数组中进行批
处理
、
我关心的是我的脚本的
处理
时间,因为我有十
万条
记录要插入到
数据库
中,这是否会影响我的脚本的
处理
时间?是否有一种方法可以批量
处理
向
数据库
中插入数据?
浏览 0
提问于2009-05-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用python处理百万条数据分享
JS错误和异常处理
Node.js的EventEmitter 事件处理详解
Django分离JS代码,处理AJax错误请求
Node.js操作MongoDB数据库
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券