c mysql批量insert数据

基础概念

MySQL 批量插入（Batch Insert）是指一次性向数据库表中插入多条记录，而不是逐条插入。这种操作可以显著提高数据插入的效率，因为它减少了与数据库服务器之间的通信次数。

优势

1. 提高性能：批量插入减少了网络开销和数据库的 I/O 操作，从而提高了数据插入的速度。
2. 减少锁竞争：相比于逐条插入，批量插入可以减少表锁的持有时间，降低锁竞争的概率。
3. 简化代码：批量插入可以使代码更加简洁，易于维护。

类型

MySQL 批量插入主要有以下几种方式：

1. 使用 INSERT INTO ... VALUES 语法：
2. 使用 INSERT INTO ... VALUES 语法：
3. 使用 INSERT INTO ... SELECT 语法：
4. 使用 INSERT INTO ... SELECT 语法：

应用场景

批量插入适用于以下场景：

1. 数据迁移：将大量数据从一个数据库迁移到另一个数据库。
2. 数据导入：从文件或其他数据源批量导入数据到数据库。
3. 日志记录：将大量日志记录一次性插入到日志表中。

常见问题及解决方法

问题1：批量插入时遇到 MySQL server has gone away 错误

原因：这个错误通常是由于插入的数据量过大，超过了 MySQL 服务器的最大允许包大小（max_allowed_packet）。

解决方法：

1. 增加 max_allowed_packet 的大小：
2. 增加 max_allowed_packet 的大小：
3. 分批次插入数据，避免一次性插入过多数据。

问题2：批量插入时遇到 Duplicate entry 错误

原因：插入的数据中存在重复的键值，违反了表的唯一性约束。

解决方法：

1. 使用 INSERT IGNORE 语法忽略重复的记录：
2. 使用 INSERT IGNORE 语法忽略重复的记录：
3. 使用 ON DUPLICATE KEY UPDATE 语法更新重复的记录：
4. 使用 ON DUPLICATE KEY UPDATE 语法更新重复的记录：

示例代码

以下是一个使用 Python 和 MySQL Connector 进行批量插入的示例：

import mysql.connector

# 连接到 MySQL 数据库
cnx = mysql.connector.connect(user='user', password='password',
                              host='host', database='database')
cursor = cnx.cursor()

# 准备批量插入的数据
data = [
    ('value1', 'value2', 'value3'),
    ('value4', 'value5', 'value6'),
    # ...
]

# 执行批量插入
query = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
cursor.executemany(query, data)

# 提交事务
cnx.commit()

# 关闭连接
cursor.close()
cnx.close()

参考链接

• MySQL 官方文档 - INSERT 语法
• MySQL 官方文档 - 批量插入优化

希望这些信息对你有所帮助！