mysql导入数据

基础概念

MySQL是一种关系型数据库管理系统，用于存储、管理和检索数据。数据导入是将外部数据（如CSV文件、Excel文件等）加载到MySQL数据库中的过程。这通常用于初始化数据库、批量更新数据或迁移数据。

类型

使用LOAD DATA INFILE命令：这是MySQL提供的原生命令，用于从文件中快速导入数据。
使用mysqlimport工具：这是一个命令行工具，专门用于导入文本文件。
使用编程语言的数据库驱动：如Python的pymysql、Java的JDBC等，通过编写代码来导入数据。

应用场景

数据库初始化：在新数据库中导入初始数据。
数据迁移：将数据从一个数据库迁移到另一个数据库。
批量更新：一次性导入大量更新数据。

常见问题及解决方法

问题1：导入数据时出现乱码

原因：字符集不匹配。

解决方法：确保导入文件的字符集与数据库的字符集一致。可以在导入前设置字符集：

SET NAMES 'utf8mb4';
LOAD DATA INFILE 'data.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';

问题2：导入数据时遇到权限问题

原因：当前用户没有足够的权限执行导入操作。

解决方法：确保当前用户具有FILE权限，或者使用具有足够权限的用户进行导入：

GRANT FILE ON *.* TO 'username'@'localhost';

问题3：导入数据时速度慢

原因：可能是文件格式、网络延迟或数据库性能问题。

解决方法：

确保文件格式正确，尽量减少不必要的字段和数据。
使用LOAD DATA INFILE命令，它比逐条插入快得多。
如果数据量非常大，可以考虑分批导入。

示例代码

以下是一个使用Python和pymysql库导入CSV文件的示例：

import pymysql

# 连接数据库
conn = pymysql.connect(host='localhost', user='username', password='password', db='database_name')
cursor = conn.cursor()

# 设置字符集
cursor.execute("SET NAMES 'utf8mb4'")

# 导入CSV文件
with open('data.csv', 'r') as file:
    sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
    cursor.executemany(sql, csv.reader(file))

# 提交事务
conn.commit()

# 关闭连接
cursor.close()
conn.close()