爬虫专题文章整理篇！

今日分享：爬虫那些事儿

小编大概翻了下推文记录，爬虫专题开始于2017年12月14日，断断续续走到了今天，大概就要结束这一专题了。下面对所分享的爬虫文章做下概述说明：

一：技术路线

主要涉及到两个技术路线：Requests 第三方库技术路线，该线路的分享文章占绝大部分；Scrapy技术路线，在该专题中仅分享了几篇，不过还好，会将未分享的项目上传至QQ群，究其原因是一旦用惯了某种方法便很少去做改变（真想只有一个：小编是个不求进步、坐吃等die的伪码农），话说过来，掌握第二种技术路线的好处在于可以与上司及大神无死角沟通（嘴里的牛会飞的更高）。

二：涉及内容

主要涉及基本环境的安装配置。主要爬虫流程：解析方法、存储方法。对于网页解析方法，专题文章中分享有：美丽汤解析、正则表达式相关点、Xpath解析方法等；对于存储方法，分享有：Excel表存储、CSV格式存储、数据库的存储等。

三：未分享知识点

（1）IP的替换，大规模爬取网站数据，势必会由于短时间内请求过多，引起网站的封IP亲密对待，这对于数据采集人员最为致命；

（2）使用Cookie登录，这对于某些网站是很有必要的，比如国内的某乎、渣浪、某宝，进行登录后才能获取到更多数据；

（3）模拟点击爬取，这主要处理 js 动态渲染页面的爬取，主要用浏览器驱动（比如谷歌浏览器的chromdriver） + selenium

（4）。。。。

以上未分享的三种情况是在工作中较为常见的，小编在实际工作中进行数据采集时也主要面临这三种。有句话说的很对：无他唯手熟尔，对这些问题熟悉之后即可套路对待。如果有小伙伴想要深入了解以上内容，可在公众号留言给小编、或者通过搜索群号加入企鹅交流学习群。

-------- 》》》》爬虫文章整理《《《《--------

以上所涉及到的爬虫代码均已上传至QQ学习群，以及未发文分享的几个Scrapy爬虫项目源代码也均已上传至QQ群，需要的各位请加群免费获取

说明：QQ学习群免费开放加入权限，请各位三思而后入，开放权限时间由实际情况而定。回复加群 通过搜索群号加入

免费分享干货部分截图

关注公众号即可一键领取

省去找资料的麻烦为您的进阶学习保驾护航

公众号QQ群

扫QQ群二维码进交流学习群