专栏首页CDA数据分析师如何使用python进行web抓取?

如何使用python进行web抓取?

本文摘要自Web Scraping with Python – 2015

书籍下载地址:https://bitbucket.org/xurongzhong/python-chinese-library/downloads

源码地址:https://bitbucket.org/wswp/code

演示站点:http://example.webscraping.com/

演示站点代码:http://bitbucket.org/wswp/places

推荐的python基础教程: http://www.diveintopython.net

HTML和JavaScript基础:

http://www.w3schools.com

web抓取简介

  • 为什么要进行web抓取?

网购的时候想比较下各个网站的价格,也就是实现惠惠购物助手的功能。有API自然方便,但是通常是没有API,此时就需要web抓取。

  • web抓取是否合法?

抓取的数据,个人使用不违法,商业用途或重新发布则需要考虑授权,另外需要注意礼节。根据国外已经判决的案例,一般来说位置和电话可以重新发布,但是原创数据不允许重新发布。

更多参考:

http://www.bvhd.dk/uploads/tx_mocarticles/S_-_og_Handelsrettens_afg_relse_i_Ofir-sagen.pdf

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

  • 背景研究

robots.txt和Sitemap可以帮助了解站点的规模和结构,还可以使用谷歌搜索和WHOIS等工具。

比如:http://example.webscraping.com/robots.txt

更多关于web机器人的介绍参见 http://www.robotstxt.org。

Sitemap的协议: http://www.sitemaps.org/protocol.html,比如:

站点地图经常不完整。

站点大小评估:

通过google的site查询 比如:site:automationtesting.sinaapp.com

站点技术评估:

分析网站所有者:

  • 抓取第一个站点

简单的爬虫(crawling)代码如下:

可以基于错误码重试。HTTP状态码:https://tools.ietf.org/html/rfc7231#section-6。4**没必要重试,5**可以重试下。

维护成本比较高。

Beautiful Soup:

完整的例子:

Lxml基于 libxml2(c语言实现),更快速,但是有时更难安装。网址:http://lxml.de/installation.html。

lxml的容错能力也比较强,少半边标签通常没事。

下面使用css选择器,注意安装cssselect。

在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。

“CSS” 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)

选择器

例子

例子描述

CSS

.class

.intro

选择 class=”intro” 的所有元素。

1

#id

#firstname

选择 id=”firstname” 的所有元素。

1

*

*

选择所有元素。

2

element

p

选择所有元素。

1

element,element

div,p

选择所有 元素和所有元素。

1

element element

div p

选择 元素内部的所有元素。

1

element>element

div>p

选择父元素为 元素的所有元素。

2

element+element

div p

选择紧接在 元素之后的所有元素。

2

[attribute]

[target]

选择带有 target 属性所有元素。

2

[attribute=value]

[target=_blank]

选择 target=”_blank” 的所有元素。

2

[attribute~=value]

[title~=flower]

选择 title 属性包含单词 “flower” 的所有元素。

2

[attribute|=value]

[lang|=en]

选择 lang 属性值以 “en” 开头的所有元素。

2

:link

a:link

选择所有未被访问的链接。

1

:visited

a:visited

选择所有已被访问的链接。

1

:active

a:active

选择活动链接。

1

:hover

a:hover

选择鼠标指针位于其上的链接。

1

:focus

input:focus

选择获得焦点的 input 元素。

2

:first-letter

p:first-letter

选择每个元素的首字母。

1

:first-line

p:first-line

选择每个元素的首行。

1

:first-child

p:first-child

选择属于父元素的第一个子元素的每个元素。

2

:before

p:before

在每个元素的内容之前插入内容。

2

:after

p:after

在每个元素的内容之后插入内容。

2

:lang(language)

p:lang(it)

选择带有以 “it” 开头的 lang 属性值的每个元素。

2

element1~element2

p~ul

选择前面有元素的每个 元素。

3

[attribute^=value]

a[src^="https"]

选择其 src 属性值以 “https” 开头的每个元素。

3

[attribute$=value]

a[src$=".pdf"]

选择其 src 属性以 “.pdf” 结尾的所有 元素。

3

[attribute*=value]

a[src*="abc"]

选择其 src 属性中包含 “abc” 子串的每个 元素。

3

:first-of-type

p:first-of-type

选择属于其父元素的首个元素的每个 元素。

3

:last-of-type

p:last-of-type

选择属于其父元素的最后元素的每个 元素。

3

:only-of-type

p:only-of-type

选择属于其父元素唯一的元素的每个 元素。

3

:only-child

p:only-child

选择属于其父元素的唯一子元素的每个元素。

3

:nth-child(n)

p:nth-child(2)

选择属于其父元素的第二个子元素的每个元素。

3

:nth-last-child(n)

p:nth-last-child(2)

同上,从最后一个子元素开始计数。

3

:nth-of-type(n)

p:nth-of-type(2)

选择属于其父元素第二个元素的每个 元素。

3

:nth-last-of-type(n)

p:nth-last-of-type(2)

同上,但是从最后一个子元素开始计数。

3

:last-child

p:last-child

选择属于其父元素最后一个子元素每个元素。

3

:root

:root

选择文档的根元素。

3

:empty

p:empty

选择没有子元素的每个元素(包括文本节点)。

3

:target

#news:target

选择当前活动的 #news 元素。

3

:enabled

input:enabled

选择每个启用的 <input>元素。

3

:disabled

input:disabled

选择每个禁用的 <input>元素

3

:checked

input:checked

选择每个被选中的 <input>元素。

3

:not(selector)

:not(p)

选择非<p>元素的每个元素。

3

::selection

::selection

选择被用户选取的元素部分。

3

CSS 选择器参见:http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面通过提取如下页面的国家数据来比较性能:

比较代码:

Windows执行结果:

Linux执行结果:

其中 re.purge() 用户清正则表达式的缓存。

推荐使用基于Linux的lxml,在同一网页多次分析的情况优势更为明显。

本文分享自微信公众号 - CDA数据分析师(cdacdacda),作者:磁石针

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-03-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 工具 | Python集合使用详解

    我会在这篇文章介绍Python几种类型的集合。 在开始前,先定义集合是什么。一个集合就像篮子,你可以放进和取出东西,可以是同一类的东西,也可以是不同类的。基本上...

    CDA数据分析师
  • CDA数据分析师学习之路第3期 | Spark RDD的转换操作举例

    Spark RDD中的操作非常丰富,有80多种针对数据的操作。其中最重要的是Transformation(转换操作)和Action(执行操作)两类。其中转换操作...

    CDA数据分析师
  • 准备程序员面试?你需要了解这 14 种编程面试模式

    对很多开发者来说,编程工作的面试准备很容易让人焦虑。面试要涉及的东西实在太多,其中很多还往往与开发者的日常工作无关,只会额外增添压力。

    CDA数据分析师
  • 前端面试题-伪类和伪元素

    CSS 引入伪类和伪元素的概念是为了格式化文档树以外的信息。也就是说,伪类和伪元素是用来修饰不在文档树中的部分,比如,一句话中的第一个字母,或者是列表中的第一个...

    前端博客 : alili.tech
  • Pseudo elements伪元素与Pseudo classes伪类

    ::after用于描述处于css渲染层的一个伪元素,相当于选中元素的最后一个子元素,但这个元素与DOM节点无关,位于选择的元素之后,伪元素的内容用content...

    gojam
  • 我不知道你知不知道我知道的伪元素小技巧

    伪元素能做什么?我们要他有何用?它能为我们解决什么问题?和其他的方法相比她有什么有点?我们为什么要使用它?

    sunseekers
  • JavaWeb(八)JQuery

    jQuery 市场用得比较多两个框架: jQuery 比较适合做一些互联网 的应用(12306.com,蘑菇街,美丽说,聚美) extjs 比较适合做后台管理系...

    二十三年蝉
  • css选择器

    下面是一张取自w3cschool的css选择器表 链接地址:http://www.w3school.com.cn/cssref/css_selectors.as...

    lonelydawn
  • jquery教程之查找筛选函数

    三、children 取得一个包含匹配的元素集合中每一个元素的所有子元素的元素集合。

    老雷PHP全栈开发
  • jQuery 常用方法

    jQuery 是一个快速、简洁的 JavaScript 框架,封装 JavaScript 常用的功能代码,提供一种简便的 JavaScript 设计模式,优化 ...

    Nian糕

扫码关注云+社区

领取腾讯云代金券