scrapy 连接mysql

Scrapy 是一个用于网络爬虫的 Python 框架，它可以高效地抓取网页内容并提取结构化的数据。MySQL 是一个流行的关系型数据库管理系统，用于存储和管理数据。将 Scrapy 与 MySQL 结合使用，可以将爬取的数据直接存储到数据库中，便于后续的数据处理和分析。

基础概念

Scrapy 使用中间件（Middleware）来处理与数据库的连接和数据存储。你可以编写自定义的中间件，或者使用现有的库如 scrapy-mysql-pipeline 来实现这一功能。

类型

自定义中间件：编写自定义的 Scrapy 中间件来处理与 MySQL 的连接和数据存储。
现有库：使用现有的库如 scrapy-mysql-pipeline 来简化与 MySQL 的集成。

应用场景

数据抓取：从多个网站抓取数据并存储到 MySQL 数据库中。
数据分析：将抓取的数据存储到数据库中，便于后续的数据分析和挖掘。
数据备份：将抓取的数据定期备份到 MySQL 数据库中，确保数据的安全性。

遇到的问题及解决方法

问题：Scrapy 连接 MySQL 失败

原因：

MySQL 服务器未启动或无法访问。
数据库连接配置错误。
权限问题，Scrapy 用户没有足够的权限访问数据库。

解决方法：

确保 MySQL 服务器已启动并可以访问。
检查数据库连接配置，确保主机地址、端口、用户名和密码正确。
确保 Scrapy 用户具有访问数据库的权限。

# 示例代码：自定义 Scrapy 中间件连接 MySQL

import mysql.connector
from scrapy.exceptions import DropItem

class MySQLPipeline(object):
    def __init__(self, db_host, db_user, db_password, db_name):
        self.db_host = db_host
        self.db_user = db_user
        self.db_password = db_password
        self.db_name = db_name

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            db_host=crawler.settings.get('MYSQL_HOST'),
            db_user=crawler.settings.get('MYSQL_USER'),
            db_password=crawler.settings.get('MYSQL_PASSWORD'),
            db_name=crawler.settings.get('MYSQL_DB')
        )

    def open_spider(self, spider):
        self.connection = mysql.connector.connect(
            host=self.db_host,
            user=self.db_user,
            password=self.db_password,
            database=self.db_name
        )
        self.cursor = self.connection.cursor()

    def close_spider(self, spider):
        self.cursor.close()
        self.connection.close()

    def process_item(self, item, spider):
        query = "INSERT INTO table_name (column1, column2) VALUES (%s, %s)"
        self.cursor.execute(query, (item['value1'], item['value2']))
        self.connection.commit()
        return item

参考链接：

通过上述方法，你可以将 Scrapy 爬取的数据存储到 MySQL 数据库中，便于后续的数据处理和分析。