中国化工网数据采集

中国化工网数据采集需求与采集难度相对来说是比较简单的。需求是将化工产品的详情页面保存下来,不需要提取字段。

首先,我们根据需求来分析下采集实现步骤:

1. 找到入口页面:http://cheman.chemnet.com/dict/zd_more.html,在入口页面将“化工CAS号”对应的链接加入任务队列

2. 在“化工CAS号”页面,将每个化工产品的详情页链接加入任务队列

3. 处理化工产品详情页,将其保存到数据库中

分析完页面提取步骤后,下来就开始着手编写采集程序了。

打开页面的源码,发现页面的编码为“gb2312”,所以,采集程序文件编码设置为“# coding: GBK”

刚才分析需求的时候,估计了下采集数据量,在这里我就用多线程进行采集了。

需要引入的模块有以下几个:

下来定义主方法,scraper(), 然后指定数据库信息。

然后定义线程函数,在线程函数里,根据任务url的区别分别进行页面信息的处理。列表页要提取需要的链接加入任务队列,详情页就要保存数据到数据库。

好了,到了这里,程序的主要功能已经实现了,下来我们单独加一个详情页的任务到队列里面,运行程序后,查一下在数据库里是否已经保存了页面数据。

加入任务:

tasks = deque(['http://cheman.chemnet.com/dict/dict--80-48-8--1.html'])

运行程序:python chemnet.py

查询数据库是否保存了数据:

db.chemnet_data.find({'url': 'http://cheman.chemnet.com/dict/dict--80-48-8--1.html'})

结果如下,是有页面数据的。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180913G1D0A800?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励