2回答
Lucene / MySQL混合查询或概念
c#、.net、mysql、lucene.net
数据当前存储在MySQL数据库中，并且随着数据库的修改，Lucene索引也会随之更新。
我们目前在我们想要的地方有搜索功能。然而，我们正试图在索引/数据库中添加“标记”文档的功能。由于数据点可以是数百万条记录，我们不希望更新Lucene索引来进行标记(或者如果有一种方法可以批量更新Lucene，也可能会起作用)。相反，我们在MySQL中有一个文档in表，我们希望使用它来确定标记集。尝试在MySQL的" in“查询中
浏览 4提问于2010-02-11得票数 1
2回答
高效的数据导入？
php、data-integrity、import
我们与许多房地产合作，在重新设计如何导入数据时，我遇到了一个有趣的问题。多年来，这已被证明是相当不稳定的。当谈到“更新”现有数据时，我最初的想法是只查询更新过的数据。有一个'Modified‘字段，它告诉你列表最后一次更新的时间，我的代码将捕获最近6小时内更新的任何列表(给自己一个窗口，以防出现问题
浏览 4提问于2010-04-09得票数 2
回答已采纳
11回答
Server / MySQL / Access -以低效方式加速插入许多行
mysql、sql-server、ms-access
设置
我必须在Server 2000/2005、MySQL或Access中插入几百万行。不幸的是，我没有一个简单的方法来使用批量插入或BCP或任何其他方式，正常人会这样做。插入将发生在一个特定的数据库上，但该代码需要与db无关--因此我无法批量复制、选择进入或BCP。但是，我可以在插入之前和之后运行特定的查询，这取决于我要导入到哪个数据库。或者我可以说，“嘿，我有一百万行，所以在我完全完成之前不要更新你的索引”。那么MySQL和Access呢
浏览 11提问于2009-01-07得票数 5
回答已采纳
1回答
neo4j导入器-不使用csv
neo4j、spring-data-neo4j
我想在不使用csv文件的情况下导入到neo4j数据库，即如果我有mysql结果集，那么我只是将其转储到neo4j中，并在mysql数据库中标记为已处理的记录。一种方法是使用spring模板的.save方法，但一次只获取一个实体，我有数百万条记录，这样会花费很长时间。
我可以使用neo4j DB的任何应用程序接口进行批量插入吗？
浏览 0提问于2016-03-25得票数 0
3回答
在magento中以编程方式向所有产品添加数量
php、sql、magento、database-schema
谁能告诉我如何直接从脚本注入数据库表来更新数量。桑杰
浏览 0提问于2012-01-12得票数 0
3回答
我有一个很大的xml文件要加载到mysql中。这是约20 GB的未压缩，但我想我可以压缩到约25%的原始大小，然后批量上传到一个压缩表。我知道我可以压缩数据库本身中的数据，但它可以在批量添加过程中读取压缩文件吗？
编辑:我所说的压缩并不意味着它是一个.gz.tar文件或者任何东西。如果这是不可能的，我是否可以做一些像批量上传，但以某种方式过滤它通过一个程序，解压缩的内容？我正在考虑用C打开这个文件，并在将其加载到mysql时对其进行压缩。问题是，我希望在批量插入而不是数
浏览 3提问于2012-06-12得票数 4
回答已采纳
1回答
使用Mysql Connector for .NET批量插入
asp.net、mysql、bulkinsert
我想知道MySql连接器上是否有可用的批量插入功能。我确实要创建数百万条记录，我相信批处理将是一个很好的功能。谢谢，莱昂纳多
浏览 0提问于2010-03-03得票数 1
2回答
PHP:防止数据库溢出
php、mysql
我有很小的网址服务，发送数据到服务器是简单的工作与ajax功能，发送数据到某些页面，并插入数据到数据库。我刚刚玩了一点firebug，我发现我可以在一秒钟内将ajax函数循环数千次，它会使我的数据库浮动。我就是这么做的..
由于显而易见的原因，会话和cookie不能在这里工作。
浏览 2提问于2012-02-08得票数 1
6回答
JDBC批量插入性能
mysql、performance、jdbc、batch-file
我需要在mysql数据库中插入数亿条记录。我一次批量插入一百万。请看我下面的代码。它看起来很慢。有什么方法可以优化它吗？
浏览 0提问于2010-06-08得票数 69
2回答
MySQL中的n元语法计数
mysql、full-text-search、nlp、n-gram
我正在构建一个MySQL数据库，其中将有大约10,000条记录。每条记录将包含一个文本文档(大多数情况下是几页文本)。我想在整个数据库中做各种n-gram计数。我已经用Python编写了算法，可以针对包含大量文本文件的目录执行我想要的操作，但要做到这一点，我需要从数据库中提取10,000个文本文件-这将存在性能问题。我是MySQL的新手，所以我不确定它是否有任何内置的特性来进行n-gram分析，或者是否有好的插件可以做到这一点。
浏览 0提问于2011-09-21得票数 4
1回答
启用单选按钮在网格中列出复选框选中
c#、xml、ado.net
我的问题是：用户名: xxxx姓氏: XXX域角色bnv管理员现在，我需要将这些数据插入到我的表中。
浏览 0提问于2011-06-10得票数 1
回答已采纳
3回答
在AWS RDS实例之间移动数据
mysql、amazon-web-services、amazon-s3、amazon-rds
我需要在两个不同rds实例上相同的mysql数据库之间移动数百万行。由于我们讨论的是大量数据，因此我考虑创建一个存储过程来批量删除行。在aws中有没有实现这一点的方法？
另一件事是，我只需要从特定表中移动一些行，而不是整个表或整个数据库。
浏览 2提问于2017-03-02得票数 3
1回答
ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接
mysql、ruby-on-rails、delayed-job
我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插入到数据库中。我正在运行5个延迟作业的实例来执行批量<
浏览 1提问于2015-12-07得票数 0
3回答
我正在尝试通过mysql查询(无连接)从表中删除超过200万条记录。该表有大约8000万条记录。
我使用的是set autocommit=0;，它需要很长时间才能完成。
浏览 2提问于2013-03-19得票数 0
回答已采纳
1回答
indexedDB的替代方案，允许批量上传和处理大量数据
indexeddb
所检查的选项之一- indexedDB，用于在客户端浏览器中本地存储数据库和资源。在我们开始测试高负载之前，一切都很好。根据我们的场景，可能的情况是基数高达一百万个对象。因此，当我们试图向数据库写入数百万个简单对象(三个字段)时，就开始出现严重的问题。{ type: 'cam',}
浏览器会冻结，数据库也会死掉。数据库不断地返回&
浏览 0提问于2016-10-31得票数 0
1回答
使用grails批量并发处理数百万条数据库记录
mysql、grails、concurrency
我需要帮助来处理数百万的数据库记录使用grails。
我在数据库里有几百万条记录。我不能在单个查询中获取所有记录，因为它会抛出内存溢出异常。所以我想批量获取记录。并对每一批的每条记录进行处理。
浏览 0提问于2013-12-11得票数 0
6回答
如何使用insert语句将数百万不同RDBMS的数据插入到Server数据库中？
c#、mysql、database、ado.net
* from Table1
插入到Table1(Sql server Db1) -从Mysql数据库插入考虑相同模式的数据我不想使用don批量复制，因为我不想逐块插入数据。因此，用户必须坐着等待一个长的，比如第一个数以百万计的数据，在数据库中逐块插入，然后再等待我的进一步操作，这也是长时间运行的操作。因此，我想在两个数据库中的本地SQL server实例中提取这
浏览 7提问于2017-12-14得票数 11
4回答
低延迟读写的持久性策略
java、database、caching、scalability、low-latency
我正在构建一个应用程序，它包含了一个功能，可以对数百万条记录进行大量标记，或多或少是交互的。用户交互非常类似于Gmail，在Gmail中，用户可以标记单个电子邮件，或者批量标记大量电子邮件。现在，我们使用Mysql，并为每个标记文档对插入一行。将数百万行写入Mysql需要一段时间(高I/O)，即使是批量插入和繁重的优化。我们需要这是一个互动的过程，而不是一个批处理过程。不需要持久写入
在缓存后写入(Terrac
浏览 1提问于2009-11-19得票数 4
回答已采纳
2回答
Django使用bulk_update更新所有记录
django、django-models
在2.2版本中，我们现在可以选择批量更新：https://docs.djangoproject.com/en/3.0/ref/models/querysets/#bulk-update 我有一个有数百万行的模型我正在尝试使用bulk_update，但这意味着我仍然需要加载内存中的所有模型对象，逐个修改字段，然后使用批量更新： 我正在做的事情： def migrate_event_ip_to_property(event.properties[&
浏览 151提问于2020-04-05得票数 1
回答已采纳
1回答
PostgreSQL -将表创建为vs插入性能比较
postgresql、rdbms、postgresql-9.1、postgresql-9.3、postgresql-9.2
我正在尝试将几百万行插入到PostgreSQL数据库中。我想知道做这件事的最好方法是什么。
请给我建议。
浏览 2提问于2017-07-20得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号