批量csv导入mysql数据库

基础概念

批量CSV导入MySQL数据库是指将一个或多个CSV文件中的数据一次性导入到MySQL数据库中的过程。CSV（Comma-Separated Values）是一种常见的数据交换格式，易于生成、阅读和处理。

类型

手动导入：通过MySQL的命令行工具或图形化界面手动执行导入操作。
脚本导入：编写脚本（如Python、Shell等）自动化导入过程。
工具导入：使用专门的数据库管理工具或第三方库进行批量导入。

应用场景

数据迁移：将数据从一个系统迁移到另一个系统。
数据备份：将数据库中的数据导出为CSV文件进行备份。
数据导入：将外部数据导入到MySQL数据库中进行处理和分析。

常见问题及解决方法

问题1：导入过程中出现乱码

原因：CSV文件中的字符编码与MySQL数据库的字符编码不一致。

解决方法：

确保CSV文件的编码与MySQL数据库的编码一致，通常使用UTF-8编码。
在导入时指定正确的字符集，例如：
在导入时指定正确的字符集，例如：

问题2：导入过程中出现数据类型不匹配

原因：CSV文件中的数据类型与MySQL表中的数据类型不匹配。

解决方法：

在导入前检查CSV文件中的数据类型，并确保与MySQL表中的数据类型一致。
使用LOAD DATA INFILE语句时，可以指定字段的数据类型转换，例如：
使用LOAD DATA INFILE语句时，可以指定字段的数据类型转换，例如：

问题3：导入过程中出现文件路径错误

原因：CSV文件的路径不正确或MySQL服务器无法访问该路径。

解决方法：

确保CSV文件的路径正确，并且MySQL服务器有权限访问该路径。
如果CSV文件位于远程服务器上，可以使用LOAD DATA LOCAL INFILE语句，例如：
如果CSV文件位于远程服务器上，可以使用LOAD DATA LOCAL INFILE语句，例如：

示例代码

以下是一个使用Python脚本批量导入CSV文件到MySQL数据库的示例：

import mysql.connector
import csv

# 连接到MySQL数据库
db = mysql.connector.connect(
    host="localhost",
    user="username",
    password="password",
    database="database_name"
)
cursor = db.cursor()

# 打开CSV文件
with open('file.csv', newline='', encoding='utf-8') as csvfile:
    csvreader = csv.reader(csvfile)
    next(csvreader)  # 跳过表头
    for row in csvreader:
        # 构建插入语句
        sql = "INSERT INTO table_name (column1, column2) VALUES (%s, %s)"
        cursor.execute(sql, (row[0], row[1]))

# 提交事务
db.commit()

# 关闭连接
cursor.close()
db.close()