如何在mysql中快速更新百万行

文章/答案/技术大牛

发布

1回答

mysql

我需要在我的数据库中更新超过400万行。我们目前使用的是MySQL5.1，更新速度非常慢。目前，它不到100,000行需要超过30分钟，这是不可取的。我有一个sql脚本，可以自动生成所需的update语句，并将它们输出到一个文件中。我试着将其分解成多个文件，看看这是否会加快速度，但无济于事。first_status.id > ts.id AND first_status.ticket_id = ts.ticket_id) GROUP BY

浏览 9提问于2016-09-19得票数 5

回答已采纳

1回答

如何在MYSQL中快速更新100万行

php、mysql

我只有一个表，需要更新100万行。我需要更新的数据是在一个file.txt中，它只有一个值才能在100万行中更新。问题是时间问题。太慢了。327554`$mysqli = get_dbc(); echo "Failed to connect to MySQL

浏览 1提问于2021-05-12得票数 0

回答已采纳

2回答

面向web应用的海量数据后端技术

mysql、mongodb、cassandra、nosql

我正在开发一个应用程序，以提供每日动态信息，如价格，可用性等约50,000个对象。我需要在接下来的200天里存储数据。这意味着总共有1000万行。价格将批量更新，并每天添加一次新数据。假设每天大约有10,000行现有行被更新，50,000行被插入。什么是最好的后端框架，我可以使用。 MySQL可以在有限的硬件能力下进行扩展吗？或者，NoSQL数据库是可行的吗？如果是，则哪个NoSQL数据库最适合快速获取和更新数据。

浏览 0提问于2014-06-10得票数 1

1回答

计算具有相同ID的每一行的%差

mysql、database-design、greatest-n-per-group

现在，我有一个表，它看起来像这样，但有大约100万行和100多个公司名称。2.0011/08/16 Exxon 2.01怎样才能最好地计算出每一家公司每天的百分比差Exxon 1.005是否最好将每一家公司存储为一列，还是将其保持为行格式，以及如何编写函数，使其在导入新信息时不会每天重新计算所有的百<e

浏览 0提问于2016-08-29得票数 1

回答已采纳

1回答

每次在循环中执行单个查询会增加时间。

mysql、mysql-5.5

所以，有人建议停止增加mysql的执行时间吗？总共有12042993份记录，我得把它从一张表复制到另一张桌子。但是当我不受限制地执行单个查询时，它就不能工作了。

浏览 0提问于2019-05-11得票数 1

1回答

MySQL如何在插入行时忽略索引

mysql、insert、indexing、bulkinsert

我在我的MySQL数据库中有一个五百万行圆的表。在插入时，MySQL更新索引时，向表插入行的速度太慢。如何在插入时停止索引更新，然后单独进行索引？谢谢卡姆鲁尔

浏览 4提问于2014-03-04得票数 1

回答已采纳

1回答

哪个数据库用于处理百万行的应用程序

database、performance、database-design

我正在创建一个每个月要处理数百万行的应用程序。我主要关心的是数据库的性能，它可以处理这些大量的行，并提供快速的结果。我有一个数据库的选项，如MySQL，SQL Server，ORACLE，DB2… 希望有人能给我解决这些问题的好方法。

浏览 2提问于2011-12-26得票数 0

7回答

mysql应该如何针对大量写入和很少读取(100:1)进行优化/调整。读取性能请求

mysql、performance、optimization、innodb

我有一个简单的数据库，其中有4个表，每个表有几百万行，还有几个索引。我每分钟对它们执行数百次更新和插入。读取的频率要低得多，但它们需要快速-对于web应用程序。目前，当我不写插入和更新时，selects都很好地运行。当我同时写东西的时候，事情可能会变慢--有时会很慢。服务器肯定会受到IO的限制--我用过iostat，在高写入率的时候，磁盘利用率高达99%。对于表或mysql本身应该如何针对大量写入和很少读取进行调优，有人有什么其他建议吗？这些表当前设置为使用带有紧凑行的innodb引擎

浏览 3提问于2009-06-14得票数 2

1回答

重复键更新速度快于更新速度

mysql、update

我有一个大约有1700万行的表：+---------------------+--------------------------以下查询每次更新10000行，运行时间非常长(半小时后终止)： UPDATE humans_we_respect SET expressed_interest=1 WHERE id IN (1,...,这是在MySQL 5.5.33上运行在亚马逊RDS中的。

浏览 0提问于2014-06-19得票数 6

回答已采纳

2回答

如何在Amazon中禁用innodb_doublewrite for MySQL？

mysql、amazon-web-services、amazon-rds

请任何人帮助我禁用在Amazon中托管的MySQL数据库的“MySQL”。我需要这个，因为我们需要快速更新大约1500万行。我可以通过我的Linux访问MySQL。但是不知道如何使用Amazon的启动选项。有谁能帮我禁用这个选项吗？

浏览 4提问于2015-08-02得票数 3

回答已采纳

4回答

mysql计数(*)需要很长时间吗？还有更好的选择吗？

mysql

mysql> select count(*) from id_renewal ;| count(*) || 13633246 |有没有像oracle中那样保存在内存中的选项？mysql> show variables like '%cache%'; +----------------

浏览 3提问于2012-07-07得票数 18

2回答

RDS MySQL顶级CPU查询

mysql、mysql-5.6、amazon-rds、monitoring

我想知道是否有任何方法可以在我的实例中获得每个CPU中的顶级查询。根据CPU的使用情况，我将看到哪个查询在我的实例中有更大的影响。有没有人知道在像Server这样的MySQL中是否有可能？如何在MySQL上实时获取一个正在读取百万行的事件，出现在performance (AWS工具)上的信息显示了一个非常快速的查询，最多返回573行。

浏览 0提问于2020-08-25得票数 -1

1回答

后台复制大型MySQL表

mysql

我需要将一个大的(80mil记录) MySQL表复制到另一个表中，因为我需要向表中添加一个索引，而使用ALTER将会太慢/耗尽内存。我曾尝试在一个screen实例中运行一个包含INSERT INTO SELECT * FROM SSH的MySQL脚本，以便可以分离和退出table2会话，但是由于某种原因，它执行了前2000万行操作(除此之外，我还能如何在后台快速完成此操作？

浏览 0提问于2013-02-09得票数 0

回答已采纳

1回答

从mysql进行备份的最佳工具

mysql、mysql-workbench、mysql-backup

我正在使用mysql工作台对托管在Amazon RDS服务上的数据库进行备份/转储。是否有任何GUI工具可用于快速备份，并且还可以提供正在运行的进程的详细信息，如正在下载的表及其行详细信息或总下载百分比。Mysql workbench是一个很好的工具，但它没有显示'mysqldump‘命令实用程序中给出的所有选项，而且速度也很慢。我也怀疑我的数据完整性。有人能给我解释一下它是如何在数据完整性方面工作的吗？谢谢

浏览 3提问于2015-01-24得票数 0

3回答

哈希索引与btree索引在插入和更新中的性能

postgresql、performance

表大小为181 GB，9200万行。PostgreSQL 10.有什么更好，哈希索引或b-树索引用于快速插入？索引仅用于检查具有相同uuid的表中没有行的内容。目前，插入工作非常慢。插入100万行现在工作超过4个小时，仍在运行。通常情况下，它的工作时间大约为5个小时。更新的问题也是一样的。如果大表中有数十万行的更新，那么更新、b树索引或散列索引的速度更

浏览 0提问于2020-02-12得票数 1

1回答

百胜更新对用户或婴儿床软件的影响

linux、rhel、yum

据我所知，百胜更新将更新所有软件(系统和用户/商业s/w)的最新可用软件包。如果服务器拥有各种商业软件，如Mysql、PostgreSQL、Oracle、Hadoop等，那么所有这些软件都将升级到最新版本。如果某些版本的例如MySQL不能与Hadoop或其他软件一起工作，您如何确保系统不会因为yum更新而在各种用户软件之间遇到重大冲突。与商业软件相比，系统或内核软件之间冲突的可能性可能更小。当然，我们需要始终更新Test。在敦促检查

浏览 0提问于2020-07-26得票数 0

2回答