mysql批量添加万条数据

基础概念

MySQL 批量添加数据是指通过一次 SQL 语句向数据库表中插入多条记录，而不是逐条插入。这种方式可以显著提高数据插入的效率，减少与数据库的交互次数。

相关优势

1. 提高性能：批量插入减少了与数据库的通信开销，提高了数据插入的速度。
2. 减少锁竞争：批量插入可以减少对表的锁定时间，降低锁竞争的风险。
3. 简化代码：通过一条 SQL 语句完成多条记录的插入，简化了代码逻辑。

类型

1. 使用 INSERT INTO ... VALUES 语法：
2. 使用 INSERT INTO ... VALUES 语法：
3. 使用 LOAD DATA INFILE 语法：
4. 使用 LOAD DATA INFILE 语法：

应用场景

批量添加数据适用于需要一次性插入大量数据的场景，例如：

• 数据迁移
• 数据初始化
• 日志记录
• 大数据分析

示例代码

假设我们有一个名为 users 的表，结构如下：

CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255),
    email VARCHAR(255)
);

我们可以使用以下 SQL 语句批量插入数据：

INSERT INTO users (name, email)
VALUES 
('Alice', 'alice@example.com'),
('Bob', 'bob@example.com'),
('Charlie', 'charlie@example.com'),
...

遇到的问题及解决方法

问题：批量插入数据时速度慢

原因：

1. 网络延迟：数据库服务器与应用服务器之间的网络延迟。
2. 磁盘 I/O：数据库服务器的磁盘 I/O 性能不足。
3. 事务开销：如果批量插入操作在一个事务中，事务开销可能会影响性能。

解决方法：

1. 优化网络：确保数据库服务器与应用服务器之间的网络连接稳定且低延迟。
2. 提升磁盘 I/O：使用 SSD 硬盘，或者将数据库迁移到高性能存储系统。
3. 分批插入：将大批量数据分成多个小批次插入，减少单次事务的开销。

问题：批量插入数据时遇到主键冲突

原因：

1. 自增主键冲突：如果使用自增主键，且插入的数据中存在重复的自增值。
2. 唯一索引冲突：如果表中有唯一索引，插入的数据违反了唯一性约束。

解决方法：

1. 使用 INSERT IGNORE 或 REPLACE INTO：
2. 使用 INSERT IGNORE 或 REPLACE INTO：
3. 预先生成主键值：在应用层预先生成主键值，避免自增主键冲突。

参考链接

• MySQL INSERT 语法
• MySQL LOAD DATA INFILE 语法

希望以上信息对你有所帮助！