首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python 爬虫第四篇(保存数据到文件)

在前面一篇 Python 爬虫第三篇(循环爬取多个网页)中介绍了如何让爬虫自动搜索网站中的链接并循环获取链接的内容,那么问题来了,既然我们通过爬虫自动获取了多个网页的内容,那么这些内容该怎么处理,如果仅仅是停留在内存中,且不说没有那么大的内存来存储这些数据,程序一旦停止这些数据将全部丢失,简单便捷的方法是将这些数据保存到硬盘上,本篇我们将一起来看下如何将数据存储在硬盘上。

先来看下本节我们将获得的结果,以下图片是获取到的所有的分类「将派去的连接数设置为 10000 条,通过程序一个小时的运行,我们获取的分类梳理大概有 306 个」。

以下是贴片电阻分类中后去的原件信息。

本节中我们要将网站中的原件分类进行存放,因此需要先获取原件的分类信息,首先我们现在网站上找到分类的位置,如下图

对应的 html 源码如下

因此我们只需要 <divclass="bread_crumbs"> 下的 <span>标签即可,然后通过判断 a 标签的 href 属性的内容来最终获取原件的分类。完整的代码如下

代码语言:javascript
复制
def __get_category(self, soup):
        soup_tag = soup.find('div', class_='bread_crumbs')
        if soup_tag is None:
            logger.error(soup)
            return 'None'
        category_tag = soup_tag.find(name='a', href=re.compile(r'https?://list.szlcsc.com.+'))
        if category_tag is None:
            logger.error(category_tag)
            return 'None'
        return category_tag.string

现在我们只需要将获取到的信息保存的文件中即可,保存内容到文件中的代码如下

代码语言:javascript
复制
def __data_save(self, data):
        if len(data) < 2:
            logger.error('data length error : len = %d' %(len(data)))
            return
        filename = data[0] + 'a.txt'
        strinfo = re.compile('[/]')
        filename = re.sub(strinfo, '-', filename)
        filename = './finally/' + filename
        str = '%20s :' %(data[1])
        for price in data[2]:
            data = price[0].rjust(10) + ':' + price[1].ljust(10)
            str = str + data
        str = str + '\n'
        logger.info(str)
        with open(filename, 'a') as f:
            f.write(str)

若需要获取完整的代码,请点击阅读全文。

下一篇
举报
领券