中国期刊数据库元数据信息的多线程爬取

[注：本文所做实验只是用来进行学术研究，未进行任何商业操作。］

在研究复杂网络过程中，其中异质网络是一种很普遍的现象。为了获取全面的数据，想着爬取期刊信息数据库，因为里面蕴含了丰富的数据信息，包括论文与论文之间的关系，论文与作者的关系，作者与作者的关系，作者与机构的关系，论文与关键字的关系。

从这里面可以进行各种关系的挖掘和推理。

然而要想爬这个数据，其实上受限制很大，最主要的问题是各个大网站基本上都设了反爬虫的东西，会监测你的IP刷新是否频繁，会监测你是否遍历各种网址。里面操作非常复杂。

好在终于找到一个网站，开始进行下载。

由于爬虫目前的限制特别大，因此只是进行了测试。当前要找到不受限制的网站非常少。在这种情况下，就需要分析各种网站的限制策略，再对应进行爬取了。