mysql批量读取csv文件内容

基础概念

MySQL 批量读取 CSV 文件内容是指将 CSV 文件中的数据导入到 MySQL 数据库中。CSV（Comma-Separated Values）是一种常见的数据交换格式，每行代表一条记录，字段之间用逗号分隔。MySQL 提供了多种方法来批量导入 CSV 文件，如 LOAD DATA INFILE 语句。

相关优势

1. 高效性：批量导入比逐条插入数据要快得多，尤其是在处理大量数据时。
2. 便捷性：CSV 文件易于生成和编辑，适合与其他系统进行数据交换。
3. 灵活性：可以灵活地选择导入的数据列和行。

类型

1. 使用 LOAD DATA INFILE 语句：这是 MySQL 提供的原生方法，可以直接从文件系统导入 CSV 文件。
2. 使用编程语言的库：如 Python 的 pandas 库，可以先读取 CSV 文件，然后通过 SQL 语句批量插入到 MySQL 中。
3. 使用第三方工具：如 mysqlimport、mysqldump 等。

应用场景

1. 数据迁移：将旧系统的数据迁移到新系统。
2. 数据备份与恢复：将数据导出为 CSV 文件进行备份，需要时再导入。
3. 数据导入测试：为测试环境导入大量测试数据。

常见问题及解决方法

问题：为什么使用 LOAD DATA INFILE 时提示“File not found”？

原因：MySQL 用户可能没有权限访问该文件，或者文件路径不正确。

解决方法：

1. 确保文件路径正确，可以使用绝对路径。
2. 确保 MySQL 用户有权限访问该文件，可以通过 chmod 和 chown 命令调整文件权限。
3. 在 MySQL 配置文件中设置 secure-file-priv 参数，允许 MySQL 访问特定目录。

-- 示例：导入 CSV 文件
LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

问题：为什么导入的数据出现乱码？

原因：CSV 文件的编码与 MySQL 数据库的编码不匹配。

解决方法：

1. 确保 CSV 文件的编码与 MySQL 数据库的编码一致，通常使用 UTF-8 编码。
2. 在导入时指定字符集，如 CHARACTER SET utf8。

-- 示例：指定字符集导入 CSV 文件
LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
CHARACTER SET utf8
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

问题：为什么导入的数据行数与 CSV 文件中的行数不一致？

原因：可能是数据中包含空行、注释行或格式错误的数据行。

解决方法：

1. 在导入前检查 CSV 文件，删除空行和注释行。
2. 使用 IGNORE 或 REPLACE 选项处理重复数据。
3. 使用 ERROR 文件记录导入错误的数据行。

-- 示例：忽略错误行并记录到错误文件
LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES
ERRORFILE '/path/to/error_file.err';

参考链接

• MySQL LOAD DATA INFILE 文档
• MySQL 字符集文档

通过以上方法，你可以高效地将 CSV 文件中的数据批量导入到 MySQL 数据库中，并解决常见的导入问题。