Python 爬虫第四篇（保存数据到文件）
在前面一篇 Python 爬虫第三篇（循环爬取多个网页）中介绍了如何让爬虫自动搜索网站中的链接并循环获取链接的内容，那么问题来了，既然我们通过爬虫自动获取了多个网页的内容，那么这些内容该怎么处理，如果仅仅是停留在内存中，且不说没有那么大的内存来存储这些数据，程序一旦停止这些数据将全部丢失，简单便捷的方法是将这些数据保存到硬盘上，本篇我们将一起来看下如何将数据存储在硬盘上。
先来看下本节我们将获得的结果，以下图片是获取到的所有的分类「将派去的连接数设置为 10000 条，通过程序一个小时的运行，我们获取的分类梳理大概有 306 个」。
以下是贴片电阻分类中后去的原件信息。
本节中我们要将网站中的原件分类进行存放，因此需要先获取原件的分类信息，首先我们现在网站上找到分类的位置，如下图
对应的 html 源码如下
因此我们只需要 <divclass="bread_crumbs"> 下的 <span>标签即可，然后通过判断 a 标签的 href 属性的内容来最终获取原件的分类。完整的代码如下
def __get_category(self, soup):
soup_tag = soup.find('div', class_='bread_crumbs')
if soup_tag is None:
logger.error(soup)
return 'None'
category_tag = soup_tag.find(name='a', href=re.compile(r'https?://list.szlcsc.com.+'))
if category_tag is None:
logger.error(category_tag)
return 'None'
return category_tag.string现在我们只需要将获取到的信息保存的文件中即可，保存内容到文件中的代码如下
def __data_save(self, data):
if len(data) < 2:
logger.error('data length error : len = %d' %(len(data)))
return
filename = data[0] + 'a.txt'
strinfo = re.compile('[/]')
filename = re.sub(strinfo, '-', filename)
filename = './finally/' + filename
str = '%20s :' %(data[1])
for price in data[2]:
data = price[0].rjust(10) + ':' + price[1].ljust(10)
str = str + data
str = str + '\n'
logger.info(str)
with open(filename, 'a') as f:
f.write(str)若需要获取完整的代码，请点击阅读全文。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-03-28，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
对象存储
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。