专栏首页极客猴爬虫系列的总结

爬虫系列的总结

时光荏苒,四个月时间如流沙般从手心中流逝。这四个月自己算是收获颇多。因为在张哥的影响下,自己渐渐喜欢上写作。自己将所学的爬虫知识、学习心得以及如何学习分享出来。本文是爬虫系列文章的总结,主要是梳理下爬虫系列的文章。

如果你因爬虫而对 Python 感兴趣,想学习 Python 爬虫相关技术。你可以先阅读《学爬虫之道》,了解该如何系统地学习爬虫。同时,本爬虫系列是以理论和实战相结合的形式来分享爬虫技术。

我在《学爬虫之道》一文说道,学爬虫一共可分为四个阶段。

第一阶段是夯实,也就是打基础阶段。所以我们需要从最基础的库学起,分别是 Python 网络标准库《urilib》、《正则表达式》库、内容提取库《Beautiful Soup》,最后的《爬取当当网所有 Python 书籍》吹响了我们进击 “爬虫进阶”的号角。

第二阶段是进阶。进阶阶段主要是不断强化我们的羽翼。我们需要修炼以下《Python 多进程与多线程》、《Requests 库》、《“干将莫邪” —— Xpath 与 lxml 库》技能。最后的实战篇《爬取电影天堂的最新电影》是用来检验我们所掌握知识是否牢固。

第三阶段是突破。到了这一层次,我们追求的是厚积薄发。因为,需要学习能够爬取系列站点的 Scrapy 框架。Scrapy 知识点较多,我将其拆分成为五个部分进行讲解。分别是《学会运用爬虫框架 Scrapy (一)》、《学会运用爬虫框架 Scrapy (二)》、《学会运用爬虫框架 Scrapy (三)》、《学会运用爬虫框架 Scrapy (四) —— 高效下载图片》、《学会运用爬虫框架 Scrapy (五) —— 部署爬虫》。除此之外,还需领悟《爬虫与反爬虫的博弈》。

第四阶段是为我所用。简而言之,就是数据分析。我们借用 NumPy、Pandas、 Matplotlib 三个工具将杂乱无章的数据进行整理并得出相对应的结论。

作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的 boy。

本文分享自微信公众号 - 极客猴(Geek_monkey),作者:猴哥

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫与反爬虫的博弈

    近来这两三个月,我陆续将自己学到的爬虫技术分享出来。以标准网络库 urllib 的用法起笔,接着介绍各种内容提供工具,再到后续的 scrapy 爬虫框架系列。我...

    猴哥yuri
  • Python 爬虫入门

    想从零基础开始学习 Python,可以把爬虫可以作为切入点。利用爬虫将基础知识学起来。毕竟兴趣是最好的学习老师。我当初觉得爬取网站数据挺有趣,所以才靠开始学习 ...

    猴哥yuri
  • 学会运用爬虫框架 Scrapy (五) —— 部署爬虫

    本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd...

    猴哥yuri
  • 最全Python爬虫:微信、知乎、豆瓣,一次“偷”个够!

    WechatSogou [1]– 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字...

    BestSDK
  • 【程序源代码】python爬虫

    多种电商商品数据爬虫,整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。通过每个项目的 readme,了解爬取过程分析。对于精通...

    程序源代码
  • 请不要污名化爬虫!

    最近有一篇名为《只因写了一段爬虫,公司200多人被抓!》的文章非常火,相信大家应该都看到了。

    云爬虫技术研究笔记
  • 辟谣错误的爬虫说法,使用正确的爬虫姿势

    那篇文章的故事中提到的,是一家名为「巧达数据」的公司,如果之前有关注过相关新闻的朋友应该不难发现,这个公司实际上在3月份的时候就已经被查封了!

    Python猫
  • Java 网络爬虫,该怎么学?

    在后面的几年工作中,也参与了好几个爬虫项目,但是大多数都是使用 Python ,抛开语言不谈,爬虫也是有一套思想的。这些年写爬虫程序,对我个人的技术成长帮助非常...

    黄泽杰
  • 爬虫篇 | Python爬虫学前普及

    最近整理一个爬虫系列方面的文章,不管大家的基础如何,我从头开始整一个爬虫系列方面的文章,让大家循序渐进的学习爬虫,小白也没有学习障碍.

    叫我龙总
  • 如何给爸妈解释什么是“爬虫”?

    前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢?

    数据森麟

扫码关注云+社区

领取腾讯云代金券