mysql csv导入

基础概念

MySQL CSV 导入是指将 CSV（逗号分隔值）文件中的数据导入到 MySQL 数据库中。CSV 文件是一种常见的数据交换格式，易于生成、阅读和处理。通过将 CSV 文件导入 MySQL，可以快速地将大量数据加载到数据库中，便于后续的数据分析和处理。

优势

1. 高效性：相比手动逐条插入数据，CSV 导入可以显著提高数据加载速度。
2. 便捷性：CSV 文件易于生成和编辑，支持多种数据源和格式转换。
3. 灵活性：可以根据需要选择导入部分字段或进行数据过滤和转换。

类型

1. 使用 LOAD DATA INFILE 命令：这是 MySQL 提供的原生命令，用于从本地或远程文件系统导入 CSV 数据。
2. 使用图形化工具：如 phpMyAdmin、MySQL Workbench 等，这些工具提供了直观的界面来导入 CSV 文件。
3. 使用编程语言：如 Python、PHP 等，通过编写脚本调用 MySQL 的 API 来实现 CSV 数据的导入。

应用场景

1. 数据迁移：将其他数据库或数据源中的数据导出为 CSV 文件，然后导入到 MySQL 中。
2. 批量数据加载：当需要一次性加载大量数据时，使用 CSV 导入可以大大提高效率。
3. 数据分析与报表：将分析结果或报表数据导出为 CSV 文件，便于后续的数据处理和展示。

常见问题及解决方法

问题1：CSV 文件格式不匹配导致导入失败

原因：CSV 文件的列数、数据类型或分隔符与数据库表结构不匹配。

解决方法：

1. 检查 CSV 文件的列数和数据类型是否与数据库表一致。
2. 确保 CSV 文件使用的分隔符（通常是逗号）与 LOAD DATA INFILE 命令中的设置一致。
3. 使用文本编辑器或数据处理工具对 CSV 文件进行预处理，确保数据格式正确。

问题2：导入过程中出现乱码

原因：CSV 文件的编码与 MySQL 数据库的编码不一致。

解决方法：

1. 在导入前，使用文本编辑器或转换工具将 CSV 文件转换为与数据库相同的编码（如 UTF-8）。
2. 在 LOAD DATA INFILE 命令中指定正确的字符集，如 CHARACTER SET utf8。

问题3：导入速度过慢

原因：数据量过大、网络延迟、服务器性能不足等。

解决方法：

1. 分批次导入数据，减少单次导入的数据量。
2. 优化网络连接，确保数据传输速度。
3. 提升服务器性能，如增加内存、使用 SSD 等。

示例代码（使用 Python 和 MySQL Connector）

import mysql.connector
import csv

# 连接数据库
db = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)
cursor = db.cursor()

# 打开 CSV 文件
with open('data.csv', newline='', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # 跳过标题行
    for row in reader:
        # 构造插入语句
        sql = "INSERT INTO yourtable (column1, column2, column3) VALUES (%s, %s, %s)"
        cursor.execute(sql, row)

# 提交事务并关闭连接
db.commit()
cursor.close()
db.close()

参考链接

• MySQL 官方文档 - LOAD DATA INFILE
• MySQL Connector/Python 官方文档