专栏首页Python绿色通道爬虫篇 | Python爬虫学前普及

爬虫篇 | Python爬虫学前普及

最近整理一个爬虫系列方面的文章,不管大家的基础如何,我从头开始整一个爬虫系列方面的文章,让大家循序渐进的学习爬虫,小白也没有学习障碍.

不知道大家有没有和我一样的想法,最开始学习Python的兴趣就是为了爬虫,爬一些好看的妹子图片…

恩,准备进入正题了!最近一段时间没有怎么更新公众号,主要就是在做爬虫教程的一些准备工作,看看爬虫需要用到那些技术,然后做个计划出来,确定一下学习课程中缝,这不今天就先列出一些玩爬虫需要的准备工作!

Python爬虫这门技术你可以做得很简单,你也可以玩得很深入.打比方用简单的爬虫方式爬取1000万条数据可能需要一周时间,但如果你的爬虫玩得比较厉害,你可以采用分布式爬虫技术1天就能完成了1000万条数据。虽然都是爬虫,但这就是菜鸟与大牛的区别!这就和太极拳似的,易学难精!

这里面的技术点挺多的!现在来简单聊聊爬虫需要涉及的知识点。

网页知识

html,js,css,xpath这些知识,虽然简单,但一定需要了解。你得知道这些网页是如何构成的,然后才能去分解他们.

HTTP知识

  • 一般爬虫你需要模拟浏览器的操作,才能去获取网页的信息
  • 如果有些网站需要登录,才能获取更多的资料,你得去登录,你得把登录的账号密码进行提交
  • 有些网站登录后需要保存cookie信息才能继续获取更多资料

正则表达式

有了正则表达式才能更好的分割网页信息,获取我们想要的数据,所以正则表达式也是需要了解的.

一些重要的爬虫库

  • url,url2,requests
  • beautiulSoup4,re,lxml

数据库

爬取到的数据我们得有个地方来保存,可以使用文件,也可以使用数据库,这里我会使用mysql,还有更适合爬虫的MongoDB数据库,以及分布式要用到的redis 数据库

爬虫框架

PySpiderScrapy 这两个爬虫框架是非常NB的,简单的爬虫可以使用urlliburllib2以及正则表达式就能完成,但高级的爬虫还得用这两个框架。这两个框架需要另行安装。后面一起学习.

反爬虫

有时候你的网站数据想禁止别人爬取,可以做一些反爬虫处理操作。打比方百度上就无法去查找淘宝上的数据,这样就避开了搜索引擎的竞争,淘宝就可以搞自己的一套竞价排名

分布式爬虫

使用多个redis实例来缓存各台主机上爬取的数据。

爬虫要学的东西还是挺多的,想把爬虫玩得666,基本就是这些知识点吧!好了,上面的东西我也只是粗略整理,笔误在所难免,后面我们会一起来学习爬虫知识吧!而我也准备做这样一套完整的爬虫系列教程!

最后我们一起来一场愉快的爬虫之旅吧!

本文分享自微信公众号 - Python绿色通道(Python_channel)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫到底违法吗?这位爬虫工程师给出了答案

    大家好,本期将为大家来采访一位爬虫工程师,与他相识是在一个技术号主群中,只有他怼了我的文章,所以也算不打不相识!他便是小周码字号主:Loco。

    龙哥
  • 一文让小白也能了解爬虫

    前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢?

    龙哥
  • Python爬虫学前普及

    恩,准备进入正题了!最近一段时间没有怎么更新公众号,主要就是在做爬虫教程的一些准备工作,看看爬虫需要用到那些技术,然后做个计划出来,确定一下学习课程中缝,这不今...

    龙哥
  • 干货 | 关于反爬虫,看这一篇就够了

    你被爬虫侵扰过么?当你看到“爬虫”两个字的时候,是不是已经有点血脉贲张的感觉了?千万要忍耐,稍稍做点什么,就可以在名义上让他们胜利,实际上让他们受损失。 一、为...

    携程技术
  • 想要学习爬虫和自动化表格,有哪些好渠道?

    大多数人其实是不需要去学习爬虫的,因为工作所在的公司里有自己的数据库,里面就有数据来帮助你完成业务分析。

    猴子数据分析
  • 大专读者被裁,但他却拒绝了42k的Offer?| 一名爬虫工程师自述

    这篇文章来自我的一个读者朋友,虽然是大专学历,但精通爬虫技术。一般大厂相对比较卡学历,经过之前我的内推,阿里进行了 4 轮面试(当然内推只是第一步,能经历 4 ...

    程序猿石头
  • 成千上万个站点,日数据过亿的大规模爬虫是怎么实现的?

    1.网页文本智能提取;2.分布式爬虫;3.爬虫 DATA/URL 去重;4.爬虫部署;5.分布式爬虫调度;6.自动化渲染技术;7.消息队列在爬虫领域的应用;8....

    青南
  • 快速入门网络爬虫系列 Chapter01 | 初识网络爬虫

    我们为什么要了解网络爬虫? 因为当今从事科学研究等,需要大量的数据,但是这些数据公开的又非常的少,大量的数据都在大公司的手中。我们这些普通人本身并没有那么多数...

    不温卜火
  • 常见的反爬虫技术有哪些?如何防止别人爬自己的网站?

    爬虫与反爬虫是互联网开发工程师之间的斗智斗勇。作为网站开发者既要掌握爬虫的技术,还要更进一步去了解如何实现反爬虫。

    用户2781897
  • Python爬虫之爬虫概述

    网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。

    海仔

扫码关注云+社区

领取腾讯云代金券