csv 大数据导入mysql

基础概念

CSV（Comma-Separated Values）是一种常见的数据交换格式，每行代表一条记录，每个字段由逗号分隔。MySQL是一种关系型数据库管理系统，用于存储和管理数据。

相关优势

1. 简单易用：CSV格式简单，易于阅读和编辑。
2. 高效导入：MySQL提供了多种方式将CSV数据导入数据库，效率较高。
3. 广泛支持：几乎所有数据库管理系统都支持CSV格式的数据导入。

类型

1. 标准CSV：每条记录由逗号分隔，字段可能包含引号以处理包含逗号的字段。
2. TSV（Tab-Separated Values）：每条记录由制表符分隔，类似于CSV但使用制表符。
3. 自定义分隔符：可以使用除逗号和制表符外的其他字符作为分隔符。

应用场景

1. 数据迁移：将旧系统的数据导出为CSV文件，然后导入到新系统中。
2. 数据备份：将数据库中的数据导出为CSV文件，以便备份和恢复。
3. 数据分析：从数据库中导出数据为CSV文件，使用数据分析工具进行处理。

导入MySQL的方法

使用 LOAD DATA INFILE 语句

LOAD DATA INFILE 'path/to/your/file.csv'
INTO TABLE your_table_name
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

使用 mysqlimport 命令

mysqlimport --local --fields-terminated-by=',' --fields-enclosed-by='"' --lines-terminated-by='\n' --ignore-lines=1 -u your_username -p your_database_name path/to/your/file.csv

可能遇到的问题及解决方法

1. 文件路径错误

原因：指定的文件路径不正确或文件不存在。

解决方法：检查文件路径是否正确，确保文件存在。

2. 字段分隔符不匹配

原因：CSV文件中的字段分隔符与导入语句中的分隔符不匹配。

解决方法：确保CSV文件中的字段分隔符与导入语句中的分隔符一致。

3. 字段引号问题

原因：CSV文件中的字段包含引号，导致导入失败。

解决方法：确保导入语句中正确指定了字段引号的处理方式。

4. 数据类型不匹配

原因：CSV文件中的某些字段数据类型与数据库表中的字段数据类型不匹配。

解决方法：检查CSV文件中的数据类型，并确保与数据库表中的字段数据类型一致。

5. 权限问题

原因：当前用户没有足够的权限执行数据导入操作。

解决方法：确保当前用户具有执行数据导入操作的权限。

参考链接

• MySQL LOAD DATA INFILE 文档
• mysqlimport 命令文档

通过以上方法，你可以高效地将CSV大数据导入MySQL数据库，并解决可能遇到的问题。