mysql大表删除解决方案
MySQL大表删除解决方案是针对MySQL数据库中存在大量数据的表进行删除操作时的一种解决方案。大表删除可能会导致数据库性能下降、锁表时间过长、事务阻塞等问题，因此需要采取一些策略来优化删除操作。
解决方案如下：
- 分批删除：将大表按照某种规则划分为多个较小的子表，然后逐个子表进行删除操作。这样可以减少单次删除的数据量，降低对数据库的压力。可以使用MySQL的LIMIT关键字来限制每次删除的数据量。
- 使用索引：在进行删除操作之前，确保表中的相关字段上建立了适当的索引。索引可以加快删除操作的速度，减少锁表时间。可以使用MySQL的EXPLAIN语句来分析查询语句的执行计划，判断是否使用了索引。
- 优化查询语句：删除操作通常会伴随着WHERE条件，确保查询语句中的WHERE条件能够充分利用索引，避免全表扫描。可以使用MySQL的EXPLAIN语句来分析查询语句的执行计划，判断是否使用了索引。
- 使用临时表：将需要删除的数据先复制到一个临时表中，然后再将原表中的数据删除。这样可以减少对原表的直接删除操作，减少锁表时间。可以使用MySQL的CREATE TABLE语句创建临时表，使用INSERT INTO语句将数据复制到临时表中，最后使用DELETE语句删除原表中的数据。
- 分区表：如果数据库支持分区表功能，可以将大表按照某种规则进行分区，然后逐个分区进行删除操作。这样可以减少单次删除的数据量，提高删除操作的效率。可以使用MySQL的PARTITION BY语句来创建分区表。
- 数据备份和恢复：如果删除操作对数据库性能造成了严重影响，可以考虑先将表数据备份，然后进行删除操作，最后根据需要进行数据恢复。可以使用MySQL的mysqldump命令进行数据备份和恢复。
腾讯云相关产品和产品介绍链接地址：
- 云数据库 MySQL：https://cloud.tencent.com/product/cdb_mysql
- 云数据库 TDSQL for MySQL：https://cloud.tencent.com/product/tdsql-mysql
- 云数据库 MariaDB：https://cloud.tencent.com/product/mariadb
- 数据库备份与恢复 DTS：https://cloud.tencent.com/product/dts
相关·内容
2回答
Oracle如何从表中删除除少数分区以外的数据
oracle、partition
我有一个大表，其中有许多数据被分区到多个分区中。我希望保留一些分区的原样，但删除表中的其余数据。我试着搜索一个类似的问题，但在stackoverflow中找不到。在Oracle中编写查询以实现相同目的的最佳方法是什么？
浏览 0提问于2014-11-04得票数 4
回答已采纳
4回答
存档大表(SQL Server 2008)
sql、sql-server、sql-server-2008
我有一个非常大的表，每个季度填充大约100万条记录。
我使用手动将数据从现有表移动到另一个数据库，以最小化备份大小，并在执行查询时减轻生产数据库的负载。
有没有更好的方法，例如，一些计划的脚本将数据从生产数据库移动到其他数据库，然后每天或每周有效地从源数据库中删除记录？
请注意，由于向该表中插入的次数很多，所以我的日志文件增长很快，而且当我将数据移动到存档数据库时，删除操作也会被记录下来。
谢谢
浏览 2提问于2012-10-23得票数 5
回答已采纳
1回答
每天将数据从大查询加载到Postgre云sql数据库
google-cloud-platform、google-bigquery、google-cloud-sql
我有一些表要从大查询加载到数据库。我需要每天都这样做，并在云sql中创建一些存储过程。每天从大型查询加载表到云sql的最佳方法是什么？传输数据和将云sql保持在24/7上的成本意味着什么？感谢你的帮助。
谢谢你，J。
浏览 4提问于2021-06-09得票数 1
回答已采纳
3回答
如何为MySQL表添加索引？
云数据库 SQL Server
我有一个非常大的MySQL表约150,000行的数据。
SELECT * FROM table WHERE id = '1';
以上代码运行良好，因为ID字段是主索引。 但是，最近为了项目的发展，我不得不在另一个领域搜索数据库。 例如
SELECT * FROM table WHERE product_id = '1';
以上字段以前没有索引，但是，我已经将其添加为索引，但是当我尝试运行上述查询时，结果是非常缓慢的。 EXPLAIN查询显示，当我已经添加一个product_id字段时，没有索引，并且查询到20分钟到30分钟之间的就突然返回一行。
我完整的EXPL
浏览 694提问于2017-12-26
1回答
我正在使用mysql 5.6.22-log
我正在表aggr上执行查询，其中包含where子句中的所有条件。
以下是数据
表
CREATE TABLE aggr (
a_date DATE,
product_id INT(11),
data_point VARCHAR(16),
los INT(11),
hour_0 DOUBLE(4,2),
UNIQUE KEY `unique_row` (a_date,product_id,data_point,los),
INDEX product_id(product_id)
);
插入查询
INSERT INTO aggr(a_date
浏览 0提问于2018-07-30得票数 0
2回答
MySQL或PostgreSQL是否在删除时锁定表？
mysql、postgresql
我即将从数据库中删除大量数据。我想知道是否在MySQL或PostgreSQL中从表中删除大量记录，锁定一个表？
假设我的表自2016年以来每天都添加2GB数据，我想从现在起删除所有超过6个月的记录。
在删除过程中，我的表是否会被锁定，所有的插入、更新或删除查询都会失败？
浏览 0提问于2019-11-14得票数 6
4回答
SQL海量删除
sql、logging、truncate、sql-delete
我试图缩小一些数据库，以便我的开发人员可以将它们加载到本地机器上。我已经确定了几个保存历史数据(10+年值)的表，如果删除超过X天的记录，这些表将大大减少数据库的总体大小(50%或更多)。
下面演示了我使用的delete语句，但我的问题是，如何提高该delete语句的速度？数据库已经采用简单的日志记录格式，但是日志仍然随着delete语句的增长而增长。有没有更好的测井方法？
我最好这样做：
将我希望从当前表中保存的数据复制到临时表中，截断主表，将数据从临时表移回主表，收缩日志，收缩数据库，当处理所有需要收缩的表时。
查询示例：
DELETE FROM LoginAttempts WHERE
浏览 8提问于2009-10-07得票数 4
回答已采纳
2回答
PostgreSQL上的CTE和临时索引
postgresql、temp-tables、postgresql-9.4、jsonb
我在postgres数据库上工作，在那里我将混合使用关系表和jsonb表(可以索引)。
我一直在使用大量的CTE查询来插入或更新从临时表中选择的数据，例如：
WITH information as (
select fieldA, fieldB, fieldC from tableA
)
insert (fieldA, fieldB, fieldC)
SELECT inf.fieldA, inf.fieldB, inf.fieldC
from information inf
那么，我想知道是否有可能在这种表中创建临时索引，如果可能，是否也可以在jsonb类型字段中创建索引？(考虑这个临
浏览 0提问于2015-05-29得票数 10
回答已采纳
1回答
简单MySQL UPDATE查询-非常低的性能
mysql、performance
一个简单的mysql更新查询有时会非常慢。下面是查询：
update produse
set vizite = '135'
where id = '71238'
我的简化表结构是：
CREATE TABLE IF NOT EXISTS `produse`
(
`id` int(9) NOT NULL auto_increment,
`nume` varchar(255) NOT NULL,
`vizite` int(9) NOT NULL default '1',
PRIMARY KEY (`id`),
KEY `
浏览 1提问于2012-02-16得票数 0
1回答
在作业中读取bigtable上的大型查询表花费的时间太长
google-cloud-platform、google-bigquery、google-cloud-dataflow、google-bigquery-java
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
2回答
从MySQL 5.5升级到5.7之后，查询更频繁地遇到死锁
innodb、mysql-5.5、mysql-5.7、insert、deadlock
最近，我们使用AWS服务将生产数据库迁移到Amazon，版本从5.5升级到5.7。之后，我们经常会遇到insert...on重复密钥更新查询和更新查询的死锁问题。而在MySQL 5.5中，这是非常小的。
例如，假设我们的表结构如下所示。
CREATE TABLE `job_notification` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`uid` int(11) NOT NULL,
`job_id` int(11) NOT NULL,
`created_time` int(11) NOT NULL,
`updated_time`
浏览 0提问于2019-10-25得票数 2
1回答
Postgresql中的索引
postgresql、indexing
我们在postgresql中有一个表用户(userid，username，，pincode)
如果我们创建的索引如下：
为用户创建索引category_idx(类别)；
为用户创建索引category_pincode_idx(类别、编码)；
并将表用户查询为：
select * from users where category = somevalue;
将应用哪个索引？
浏览 4提问于2013-05-03得票数 2
4回答
如何检查哪个sql查询花费了更多的时间？(MYSQL)我正在使用专用的Linux服务器，而网站消耗了1 GB的RAM，该公司表示这是因为SQL查询(MYSQL)。谁能告诉我如何检查哪些sql查询占用了更多的时间和资源？
浏览 0提问于2011-06-07得票数 5
回答已采纳
3回答
必须有一种方法来删除SQL Server中的数据，而不会重载日志
sql、sql-server、tsql
我需要删除一大堆数据，并且没有足够的磁盘空间让日志继续增长。进一步研究这个问题，似乎没有任何方法可以绕过这个问题，但我想我应该问清楚；我很难相信这么简单的事情是不可能的。
我尝试了循环，分块删除，并在每次迭代后调用日志上的收缩文件。SQL Server似乎只是忽略了收缩文件命令。对备份日志执行相同的操作(然后删除备份文件)。同样的事情-日志也在不断增长。我正在尝试的数据库上的恢复模型很简单-我以为这会让它更容易，但事实并非如此。
浏览 0提问于2009-09-19得票数 6
回答已采纳
3回答
DROP数据库上的事务回滚
mysql、innodb
MySQL是否对DROP DATABASE...语句使用事务(所有表都使用InnoDB引擎)？
基本上，我想知道如果我在DROP DATABASE...查询运行时关闭它，是否会丢失任何数据？
我已经用表测试过它，但是我没有足够大的数据库来测试它：
mysql> SELECT COUNT(*) FROM t1;
+----------+
| COUNT(*) |
+----------+
| 10000000 |
+----------+
1 row in set (8.57 sec)
mysql> DELETE FROM t1;
另一次MySQL会话：
mysql> SHO
浏览 0提问于2013-07-18得票数 4
2回答
如何将每日记录存储在Server 2017数据库中？
sql-server、database-design、query-performance、optimization、rdbms
因此，我正在开发以Server 2017为数据库的.NET核心Web应用程序。因此，新功能要求我们必须存储属于所有国家的用户的日常数据。
示例：
📷
等等..。
现在，随着应用程序的增长，用户数量也会增加，从而创造数百万条记录。我必须从这个表中获取每月、每年的季度数据，这将花费太多的时间来获取我将使用的任何查询。那么，我想问一问，我能做些什么来加快快速获取数据的过程呢？另外，谁能告诉我这张桌子还有什么更好的设计吗？
注:我是一个初级的数据库工作，有很少和有限的知识。
浏览 0提问于2020-01-10得票数 0
1回答
为什么查询要更改其执行计划，以及如何预测更改？
oracle、optimization
我们在生产中使用动态查询已经有很多年了，执行它花了5-6秒的时间，直到我们最后的代码部署。现在，相同的查询需要几天时间才能完成。这是一个相对简单的嵌套选择，它连接5-6个表，其中最大的有几十万行(其他大部分是小型查找表)。
相同的查询运行在不同的数据库实例上非常快(有更多的数据和完全相同的代码基)。
我很清楚，像explain plan这样的工具只显示预测的执行计划，但是这个特定实例上的解释计划非常糟糕(对于相对而言，它没有使用似乎在所有其他实例上使用的索引)。
我的问题是:如果查询、表结构没有改变，或者数据读取量发生了很大的变化，为什么执行计划会发生如此大的变化，我怎么能预料到这样的变化呢？
浏览 0提问于2016-04-22得票数 1
1回答
PostgreSQL单行缓慢插入并返回(生产耗时500ms )
sql、database、postgresql、amazon-aurora
有点被难住了。我有一张叫request_to_print的小桌子。这是表结构。
它只有一个主键request_internal_id。
表中有747行。
当插入发生时，我注意到它占用了500ms+，这似乎有点过了。大多数插入都是在1ms内完成的，而且是在更大的表上完成的。
2020-10-06T10:38:29.284+11:00 Executed DbCommand (566ms) [Parameters=[@p0='', @p1='94ac21e6-bdd5-409c-90f6-4e014d1de763', @p2=NULL (DbType =
浏览 0提问于2020-10-06得票数 8
3回答
视图中的MySQL联合
mysql、database-design
我有两张大桌子，product和product_variants。目前我使用的是MySQL视图，因为我需要多次使用这个SQL语句。自动柜员机不能更改数据库结构。
产品：
ID | IsMaster | EAN |名称|价格...
Product_Variants：
ID | PID (Product.ID上的FK)| IsMaster | EAN |名称|价格...
视图my_view包含如下select：
(SELECT * FROM `product`) UNION (SELECT * FROM `product_variants`)
当我现在执行这样的查询时：
SELECT * FROM
浏览 0提问于2013-07-22得票数 2
回答已采纳
2回答
用于测试环境的MySQL。有办法冻结数据库吗？
mysql、database、unit-testing、testing
我有一个网站，我需要做一些单元测试，然后我把我的开发代码投入生产。
我考虑编写一些单元测试，但使用实际的MySQL数据库，而不是将假数据库数据发送回单元测试。
但是，我希望测试MySQL数据库保持相对静态。也就是说，在完成页面加载之后，我希望MySQL数据库撤消任何修改数据的查询，如INSERT、UPDATE等。这样，数据库就会重置为旧数据，并为下一次测试做好准备。
有什么简单的方法来实现这个想法吗？还是我应该采取另一种方法？
在测试严重依赖MySQL查询的网站时，有哪些常见的行业实践？
浏览 4提问于2017-11-08得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
