4回答
低延迟读写的持久性策略
java、database、caching、scalability、low-latency
我正在构建一个应用程序，它包含了一个功能，可以对数百万条记录进行大量标记，或多或少是交互的。用户交互非常类似于Gmail，在Gmail中，用户可以标记单个电子邮件，或者批量标记大量电子邮件。我还需要对这些标记成员的快速读取访问，以及读取模式或多或少是随机的。
现在，我们使用Mysql，并为每个标记文档对插入一行。将数百万行写入Mysql需要一段时间(高I/O)，即使是批量插入和繁重的优化。我们需要这是一个互动的过程，而不是一个批处理过程。因此
浏览 1提问于2009-11-19得票数 4
回答已采纳
2回答
如何存储跨应用程序值
configuration
我正在考虑使用mysql服务器并创建一个名为configuration的表；但是，如果有更适合这项任务的协议，我很想了解它。我想要一个解决方案，在各种不同的编程语言很好地工作。这些值通常不会改变(因此不需要快速或同时写入)。但是，快速读取速度很重要。
浏览 0提问于2012-12-04得票数 0
回答已采纳
1回答
indexedDB的替代方案，允许批量上传和处理大量数据
indexeddb
所检查的选项之一- indexedDB，用于在客户端浏览器中本地存储数据库和资源。在我们开始测试高负载之前，一切都很好。根据我们的场景，可能的情况是基数高达一百万个对象。因此，当我们试图向数据库写入数百万个简单对象(三个字段)时，就开始出现严重的问题。{ type: 'cam',}
浏览器会冻结，数据库也会死掉。数据库</
浏览 0提问于2016-10-31得票数 0
5回答
哪种SQL Server 2008解决方案能很好地处理海量写入，从而不会减慢数据库用户的读取速度？
sql-server、database、performance
我们有大型SQL Server 2008数据库。通常，我们必须将大量数据导入到数据库中，这需要几个小时。在这段时间里，其他所有人的读写速度都慢了很多。我正在寻找一个解决方案，也许我们可以设置一个数据库服务器，用于批量写入，然后设置两个其他数据库服务器，设置为可读，并可能对它们进行少量写入。目标是在批量更改运行时保持快速的小读写。
浏览 1提问于2009-04-13得票数 1
1回答
具有单一数据库的IoT多个应用程序
database、iot
我制作了一个与LoRa模块(RFM95，sx1276芯片)通信并从传感器收集数据的程序。它收集的数据存储在一个文件date.log中，并使用第三方软件进入Google。现在，我想创建一个异步TCP服务来远程收集数据，但是将数据存储在一个文件中听起来并不是个好主意。我正在考虑使用数据库而不是简单的文件，比如sqlite3，但我不确定它的性能。数据库可以执行多个程序的写入吗？
把我的软件集成到一个程序中更好吗？就像LoRa驱动程序一起使用TCP侦听器一样。
浏览 0提问于2019-06-04得票数 1
1回答
应用程序之间的数据共享-共享内存与D总线与文件操作
c++、qt、shared-memory、dbus、file-handling
考虑一个场景，其中两个应用程序必须在它们之间共享数据。我能想到三种方法-Q1。考虑数据共享的方法应该是非常大的(例如，大约10K的歌曲名称)。Q3。还有其他更快的方法吗？
实现语言- C++
浏览 0提问于2011-12-22得票数 3
回答已采纳
2回答
bulk_insert_buffer_size和InnoDB
mysql、innodb、myisam
我在这一页上读到了以下内容bulk_insert_buffer_sizeMyISAM使用一个特殊的树状缓存来使批量插入更快.选择插入..。值(.)、(.)、.和加载数据信息。此变量限制每个线程缓存树的大小(以字节为单位)。将其设置为0将禁用此优化。注意:此缓存仅在向非空表中添加数据时使用。默认值为8MB。这个变量是在<e
浏览 0提问于2013-09-11得票数 3
6回答
我有一个快速增长的、编写繁重的PHP/MySql应用程序，它以每秒十几行的速度将新行插入到包含数百万行的INNODB表中。我从使用实时INSERT语句开始，然后使用PHP语言的file_put_contents将条目写入文件，并加载DATA INFILE以将数据放入数据库。哪种方法更好？
有什么我应该考虑的替代方案吗？
浏览 0提问于2012-03-10得票数 5
1回答
不向磁盘写入文件的MySql大容量导入
python、mysql、django
我有一个运行mysql数据库后端的django网站。我接受相当大的上传从一个管理员用户批量导入一些数据。数据的格式与其在数据库中所需的格式略有不同，因此我需要进行一些解析。我希望能够将这些数据转换为csv，并将其写入cStringIO对象，然后简单地使用mysql的批量导入命令来加载该文件。我宁愿先跳过将文件写入磁盘的过程，但我似乎找不到解决方法。我过去基本上用postgresql做过这样的事情，但
浏览 1提问于2011-06-30得票数 0
回答已采纳
1回答
Django和Scrapy集成的最佳方法
django、scrapy
数以百万计的飞利浦。这是因为对于编写密集型应用程序(如web爬虫)来说，关系后端通常不是一个好选择，特别是如果数据库高度规范化并具有许多索引。
浏览 0提问于2019-04-16得票数 1
回答已采纳
6回答
处理NoSQL百万记录的最佳100+方法
mongodb、hibernate、hbase、terracotta、nosql
我正在进行一个项目，如果我们正在批量加载和存储大量数据到Oracle中，该数据库通过Hibernate不断地对这个100+百万记录表进行查询(读取比写入频繁得多)。为了加快速度，我们正在使用Lucene进行一些查询(特别是geo边界框查询)和Hibernate二级缓存，但这还不够。针对Oracle的Hibernate查询仍然存在瓶颈(由于内存不足，我们没有在Hibernate二级缓存中缓存100+百万表实体)。将在内存SQL数据库(如H2 )中完全使用
浏览 0提问于2011-06-23得票数 7
11回答
Server / MySQL / Access -以低效方式加速插入许多行
mysql、sql-server、ms-access
设置
我必须在Server 2000/2005、MySQL或Access中插入几百万行。不幸的是，我没有一个简单的方法来使用批量插入或BCP或任何其他方式，正常人会这样做。插入将发生在一个特定的数据库上，但该代码需要与db无关--因此我无法批量复制、选择进入或BCP。但是，我可以在插入之前和之后运行特定的查询，这取决于我要导入到哪个数据库。或者我可以说，“嘿，我有一百万行，所以在我完全完成之前不要更新你的索引”。那么MySQL和Access呢
浏览 11提问于2009-01-07得票数 5
回答已采纳
2回答
mysql c api:插入数字而不将其转换为字符串
mysql、c、api
我必须将大量的整数和浮点数从c应用程序放入mysql数据库中。目前，我正在通过将所有这些值转换为字符串，然后将它们传输到数据库来完成此操作：sprintf(sql_query, "INSERT INTO my_tableVALUES (%u, %u, %d, %.7f, %u, .....");
if (mysql_real_query(&mysql, sql_query, strlen(sql_query)) {fprintf
浏览 0提问于2012-01-26得票数 0
回答已采纳
7回答
mysql应该如何针对大量写入和很少读取(100:1)进行优化/调整。读取性能请求
mysql、performance、optimization、innodb
我有一个简单的数据库，其中有4个表，每个表有几百万行，还有几个索引。我每分钟对它们执行数百次更新和插入。读取的频率要低得多，但它们需要快速-对于web应用程序。读取应该具有优先级-我可以延迟写入，如果这有助于提高读取的快捷性。明天，我将尝试剪切一两个索引，缩小行大小，并禁用查询缓存。对于表或mysq
浏览 3提问于2009-06-14得票数 2
1回答
mongodb比sqlite慢4倍，比csv慢2倍？
python、mongodb、sqlite、csv
我正在比较两个数据库的性能，加上csv - data是1百万行乘5列的浮点数，批量插入sqlite/mongodb/csv，这是用python完成的。我知道mongodb在没有固定模式时表现出色，但是当每个文档都有完全相同的键:值对时，就像上面的例子一样，有没有方法可以加快批量插入的速度？
编辑:按照@D.在任何情况下，即使我使用预热并忽略IO等待时间，实际写入的剩余时间仍然可能大于csv write，这是一百万次write()调用！显然，csv编写器在缓冲/
浏览 0提问于2021-01-07得票数 0
2回答
Lucene / MySQL混合查询或概念
c#、.net、mysql、lucene.net
数据当前存储在MySQL数据库中，并且随着数据库的修改，Lucene索引也会随之更新。
我们目前在我们想要的地方有搜索功能。然而，我们正试图在索引/数据库中添加“标记”文档的功能。由于数据点可以是数百万条记录，我们不希望更新Lucene索引来进行标记(或者如果有一种方法可以批量更新Lucene，也可能会起作用)。相反，我们在MySQL中有一个文档in表，我们希望使用它来确定标记集。尝试在MySQL的&quo
浏览 4提问于2010-02-11得票数 1
2回答
在所有Wordpress文章中替换
post-editor
有一个“批量编辑”功能，但我不认为它涵盖了这个功能。有什么快速的方法来对我所有的WP帖子进行编辑-替换命令吗？(我需要这样做的原因是，“插入PHP”插件的最新更新不允许PHP直接
浏览 0提问于2018-06-16得票数 1
回答已采纳
1回答
Rolify一次分配多个用户角色
ruby-on-rails、rolify
对于Rails中的Rolify，为了向用户添加一个角色，您可以这样做：user.add_role :admin
但我有一个现有用户的大型数据库，没有角色。
浏览 4提问于2017-07-14得票数 0
回答已采纳
1回答
neo4j导入器-不使用csv
neo4j、spring-data-neo4j
我想在不使用csv文件的情况下导入到neo4j数据库，即如果我有mysql结果集，那么我只是将其转储到neo4j中，并在mysql数据库中标记为已处理的记录。一种方法是使用spring模板的.save方法，但一次只获取一个实体，我有数百万条记录，这样会花费很长时间。
我可以使用neo4j DB的任何应用程序接口进行批量插入吗？
浏览 0提问于2016-03-25得票数 0
2回答
用于对文件进行大规模顺序写入的Java库
java、database、performance、file-io
在我的应用程序中，我需要向DB中写入大量数据。为了加快速度，我正在考虑实时写入顺序的二进制文件，然后在数据库中进行批量插入。
浏览 0提问于2012-05-14得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号