txt批量导入mysql

基础概念

批量导入文本文件（如 .txt 文件）到 MySQL 数据库是一种常见的数据迁移或数据初始化操作。它通常涉及将大量数据从一个格式（如 CSV 或 TSV）转换为数据库表中的记录。

类型

CSV 导入：最常见的文本格式之一，逗号分隔值。
TSV 导入：制表符分隔值，与 CSV 类似但使用制表符作为分隔符。
自定义格式：根据具体需求定制的分隔符和格式。

应用场景

数据库初始化：在新数据库中快速填充大量初始数据。
数据迁移：将数据从一个系统迁移到另一个系统。
数据备份和恢复：将数据库内容导出为文本文件，以便备份或恢复。

常见问题及解决方案

问题：为什么导入速度很慢？

原因：可能是由于网络延迟、数据库性能瓶颈、导入脚本效率低等原因造成的。
解决方案：
- 使用批量插入语句（如 LOAD DATA INFILE）而不是逐条插入。
- 优化数据库配置，如增加缓冲区大小、调整日志设置等。
- 在网络带宽充足的情况下进行导入操作。

问题：导入过程中出现乱码怎么办？

原因：通常是由于文本文件的编码与数据库的编码不匹配导致的。
解决方案：
- 确保文本文件的编码与数据库的编码一致（如 UTF-8）。
- 在导入前使用文本编辑器或命令行工具（如 iconv）转换文件编码。

问题：导入的数据中有重复记录怎么办？

原因：可能是由于源数据中存在重复记录，或者导入脚本没有正确处理唯一性约束。
解决方案：
- 在导入前对源数据进行去重处理。
- 在数据库表中设置唯一性约束，并处理导入过程中出现的重复键错误。

示例代码

以下是一个使用 Python 和 mysql-connector-python 库批量导入 CSV 文件到 MySQL 数据库的示例代码：

import mysql.connector
import csv

# 连接到 MySQL 数据库
db = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)
cursor = db.cursor()

# 打开 CSV 文件
with open('data.csv', newline='', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # 跳过标题行
    for row in reader:
        # 构造插入语句
        sql = "INSERT INTO yourtable (column1, column2, column3) VALUES (%s, %s, %s)"
        cursor.execute(sql, row)

# 提交事务并关闭连接
db.commit()
cursor.close()
db.close()

注意：在实际应用中，请确保替换示例代码中的占位符（如 yourusername、yourpassword、yourdatabase、yourtable、column1 等）为实际的值。