爬虫入门到精通-开始爬虫之旅

本文章属于爬虫入门到精通系统教程第一讲

什么是爬虫?

引用自维基百科

网络蜘蛛(Web spider)也叫网络爬虫(Web crawler),蚂蚁(ant),自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。

我的理解就是可以自动的抓取数据

爬虫能做什么?

  • 可以创建搜索引擎(Google,百度)
  • 可以用来抢火车票
  • 带逛
  • 简单来讲只要浏览器能打开的,都可以用爬虫实现

可以参考以下链接,还有很多好玩的~

利用爬虫技术能做到哪些很酷很有趣很有用的事情?

https://www.zhihu.com/question/27621722

爬虫的本质是什么?

简单来讲就是模仿浏览器来打开网页

那我们应该如何模仿浏览器呢?

我们首先应该要知道"浏览器是怎么打开网页?"

一旦我们知道浏览器是怎么打开网页的,那么我们可以通过同样的手段来模拟浏览器

大家有兴趣的话可以看看如下文章

在浏览器地址栏输入一个URL后回车,背后会进行哪些技术步骤?

https://www.zhihu.com/question/34873227

从输入 URL 到页面加载完成的过程中都发生了什么事情?

http://fex.baidu.com/blog/2014/05/what-happen/

原文发布于微信公众号 - Python爬虫分享(python_crawler)

原文发表时间:2017-03-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏携程技术中心

开源 | 携程Redis多数据中心解决方案-XPipe

作者简介 孟文超,携程技术中心框架研发部高级经理。2016年加入携程,目前主要负责Redis多数据中心项目XPipe。此前曾在大众点评工作,任基础架构部门通信团...

641100
来自专栏草根专栏

Python数据分析(二): Numpy技巧 (4/4)

numpy、pandas、matplotlib(+seaborn)是python数据分析/机器学习的基本工具。 numpy的内容特别丰富,我这里只能介绍一下比较...

32990
来自专栏张善友的专栏

K2 Blackpearl的Outcomes Actions和Line Rule

使用K2 blackpearl设计流程的时候有两个重要概念是Outcomes和Actions。 ? Actions代表的是人与工作流交互的时候,对流程处理的...

20070
来自专栏微信小开发

整合微信小程序的Web API接口层的架构设计

来源:伍华聪 cnblogs.com/wuhuacong/p/7267333.html 例如:《C#开发微信门户及应用--微信各个项目模块的定义和相互关系》介绍...

447100
来自专栏纯洁的微笑

[高级]关于分布式事务、两阶段提交协议、三阶提交协议

在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等...

13030
来自专栏吴伟祥

微信开发 原

微信公众平台是运营者通过公众号为微信用户提供资讯和服务的平台,而公众平台开发接口则是提供服务的基础,开发者在公众平台网站中创建公众号、获取接口权限后,可以通过阅...

28250
来自专栏洞链

如何理解分布式与集群,二者区别是什么?

分布式是指不同的业务分布在不同的地方,集群指的是将几台服务器集中在一起,实现同一业务。 白话理解的话,比如公司项目上线初期(举例电子商务网站)

16930
来自专栏Rainbond开源「容器云平台」

云帮每周更新日志(2017.01.02~2017.01.15)

18240
来自专栏python学习之旅

loadrunner笔记(一):下载、安装loadrunner和负载压力测试概念说明

24650
来自专栏FreeBuf

看我如何综合利用3个安全问题成功劫持Flickr账户获得7千美元漏洞赏金

Flickr( flickr.com)为雅虎Yahoo旗下图片和视频分享平台,提供免费及付费数位照片视频储存、分享和线上社交应用服务。本文中作者通过身份认证参数...

20770

扫码关注云+社区

领取腾讯云代金券