mysql csv文件导入

基础概念

MySQL CSV文件导入是指将CSV（逗号分隔值）文件中的数据导入到MySQL数据库中的过程。CSV文件是一种常见的数据交换格式，易于生成、阅读和处理。

类型

MySQL提供了多种方式来导入CSV文件，包括使用LOAD DATA INFILE语句、使用mysqlimport工具以及通过编程语言（如Python、PHP等）调用MySQL API进行导入。

应用场景

数据迁移：将数据从其他数据库或系统迁移到MySQL数据库。
数据备份与恢复：将MySQL数据库中的数据导出为CSV文件进行备份，需要时再导入恢复。
数据导入测试：向MySQL数据库中导入测试数据，用于软件开发和测试。

常见问题及解决方法

问题1：导入CSV文件时出现乱码

原因：CSV文件和MySQL数据库的字符集不一致。

解决方法：

确保CSV文件的字符集与MySQL数据库的字符集一致。例如，如果MySQL数据库使用UTF-8字符集，则CSV文件也应使用UTF-8编码。
在导入时指定正确的字符集，如：

LOAD DATA INFILE 'file.csv'
INTO TABLE table_name
CHARACTER SET utf8mb4
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '
';

问题2：导入CSV文件时字段数不匹配

原因：CSV文件中的字段数与MySQL表中的字段数不一致。

解决方法：

检查CSV文件和MySQL表的字段数是否一致。
如果CSV文件中的某些行字段数不足或过多，可以使用FIELDS TERMINATED BY和LINES TERMINATED BY选项进行指定，并在导入时进行错误处理，如：

LOAD DATA INFILE 'file.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '
'
IGNORE LINES WITH LESS THAN 5 OR MORE THAN 5 FIELDS;

问题3：导入CSV文件时遇到权限问题

原因：当前用户没有足够的权限执行数据导入操作。

解决方法：

确保当前用户具有执行数据导入操作的权限，如FILE权限。
可以使用具有足够权限的用户进行数据导入操作。

示例代码

以下是一个使用Python调用MySQL API导入CSV文件的示例代码：

import mysql.connector
import csv

# 连接MySQL数据库
cnx = mysql.connector.connect(user='username', password='password',
                              host='hostname', database='database_name')
cursor = cnx.cursor()

# 打开CSV文件
with open('file.csv', 'r', encoding='utf-8-sig') as csvfile:
    csvreader = csv.reader(csvfile)
    header = next(csvreader)  # 跳过表头

    # 构建插入语句
    insert_stmt = "INSERT INTO table_name (field1, field2, field3) VALUES (%s, %s, %s)"

    # 执行插入操作
    for row in csvreader:
        cursor.execute(insert_stmt, row)

# 提交事务并关闭连接
cnx.commit()
cursor.close()
cnx.close()