mysql倒入数据库

基础概念

MySQL是一种关系型数据库管理系统（RDBMS），它使用结构化查询语言（SQL）进行数据管理。将数据导入MySQL数据库通常指的是将数据从一个文件或其他数据源传输到MySQL数据库中的过程。

类型

全量导入：将整个数据库或表的数据导入。
增量导入：只导入自上次导入以来发生变化的数据。
实时导入：数据一产生就立即导入数据库。

应用场景

数据迁移：从一个数据库系统迁移到另一个。
数据备份与恢复：定期备份数据并在需要时恢复。
数据分析：导入大量数据以便进行分析和报告。

常见问题及解决方法

问题：为什么数据导入时会出现乱码？

原因：通常是由于字符集不匹配导致的。源文件的字符集与MySQL数据库的字符集不一致。

解决方法：

SET NAMES 'utf8mb4';
ALTER DATABASE database_name CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

问题：为什么导入速度很慢？

原因：可能是由于文件大小、网络速度、服务器性能或索引过多等原因。

解决方法：

使用LOAD DATA INFILE命令代替INSERT语句。
在导入前删除不必要的索引。
分批导入数据。

问题：如何导入大文件？

解决方法：

使用mysqldump工具分批导出和导入。
调整MySQL配置参数，如innodb_buffer_pool_size和max_allowed_packet。

示例代码

以下是一个使用Python和mysql-connector-python库导入CSV文件的示例：

import mysql.connector
from mysql.connector import Error

try:
    connection = mysql.connector.connect(host='localhost',
                                         database='testdb',
                                         user='root',
                                         password='password')

    if connection.is_connected():
        cursor = connection.cursor()
        # 创建表
        create_table_query = """
        CREATE TABLE IF NOT EXISTS employees (
            id INT AUTO_INCREMENT PRIMARY KEY,
            name VARCHAR(255) NOT NULL,
            age INT
        )
        """
        cursor.execute(create_table_query)

        # 导入CSV文件
        with open('employees.csv', 'r') as file:
            csv_reader = csv.reader(file)
            next(csv_reader)  # 跳过标题行
            for row in csv_reader:
                insert_query = "INSERT INTO employees (name, age) VALUES (%s, %s)"
                cursor.execute(insert_query, (row[0], row[1]))
        connection.commit()
        print("Data imported successfully")

except Error as e:
    print("Error while connecting to MySQL", e)

finally:
    if connection.is_connected():
        cursor.close()
        connection.close()
        print("MySQL connection is closed")