如何使用python进行web抓取?

本文摘要自Web Scraping with Python – 2015

书籍下载地址:https://bitbucket.org/xurongzhong/python-chinese-library/downloads

源码地址:https://bitbucket.org/wswp/code

演示站点:http://example.webscraping.com/

演示站点代码:http://bitbucket.org/wswp/places

推荐的python基础教程: http://www.diveintopython.net

HTML和JavaScript基础:

http://www.w3schools.com

web抓取简介

  • 为什么要进行web抓取?

网购的时候想比较下各个网站的价格,也就是实现惠惠购物助手的功能。有API自然方便,但是通常是没有API,此时就需要web抓取。

  • web抓取是否合法?

抓取的数据,个人使用不违法,商业用途或重新发布则需要考虑授权,另外需要注意礼节。根据国外已经判决的案例,一般来说位置和电话可以重新发布,但是原创数据不允许重新发布。

更多参考:

http://www.bvhd.dk/uploads/tx_mocarticles/S_-_og_Handelsrettens_afg_relse_i_Ofir-sagen.pdf

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

  • 背景研究

robots.txt和Sitemap可以帮助了解站点的规模和结构,还可以使用谷歌搜索和WHOIS等工具。

比如:http://example.webscraping.com/robots.txt

更多关于web机器人的介绍参见 http://www.robotstxt.org。

Sitemap的协议: http://www.sitemaps.org/protocol.html,比如:

站点地图经常不完整。

站点大小评估:

通过google的site查询 比如:site:automationtesting.sinaapp.com

站点技术评估:

分析网站所有者:

  • 抓取第一个站点

简单的爬虫(crawling)代码如下:

可以基于错误码重试。HTTP状态码:https://tools.ietf.org/html/rfc7231#section-6。4**没必要重试,5**可以重试下。

维护成本比较高。

Beautiful Soup:

完整的例子:

Lxml基于 libxml2(c语言实现),更快速,但是有时更难安装。网址:http://lxml.de/installation.html。

lxml的容错能力也比较强,少半边标签通常没事。

下面使用css选择器,注意安装cssselect。

在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。

“CSS” 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)

选择器

例子

例子描述

CSS

.class

.intro

选择 class=”intro” 的所有元素。

1

#id

#firstname

选择 id=”firstname” 的所有元素。

1

*

*

选择所有元素。

2

element

p

选择所有元素。

1

element,element

div,p

选择所有 元素和所有元素。

1

element element

div p

选择 元素内部的所有元素。

1

element>element

div>p

选择父元素为 元素的所有元素。

2

element+element

div p

选择紧接在 元素之后的所有元素。

2

[attribute]

[target]

选择带有 target 属性所有元素。

2

[attribute=value]

[target=_blank]

选择 target=”_blank” 的所有元素。

2

[attribute~=value]

[title~=flower]

选择 title 属性包含单词 “flower” 的所有元素。

2

[attribute|=value]

[lang|=en]

选择 lang 属性值以 “en” 开头的所有元素。

2

:link

a:link

选择所有未被访问的链接。

1

:visited

a:visited

选择所有已被访问的链接。

1

:active

a:active

选择活动链接。

1

:hover

a:hover

选择鼠标指针位于其上的链接。

1

:focus

input:focus

选择获得焦点的 input 元素。

2

:first-letter

p:first-letter

选择每个元素的首字母。

1

:first-line

p:first-line

选择每个元素的首行。

1

:first-child

p:first-child

选择属于父元素的第一个子元素的每个元素。

2

:before

p:before

在每个元素的内容之前插入内容。

2

:after

p:after

在每个元素的内容之后插入内容。

2

:lang(language)

p:lang(it)

选择带有以 “it” 开头的 lang 属性值的每个元素。

2

element1~element2

p~ul

选择前面有元素的每个 元素。

3

[attribute^=value]

a[src^="https"]

选择其 src 属性值以 “https” 开头的每个元素。

3

[attribute$=value]

a[src$=".pdf"]

选择其 src 属性以 “.pdf” 结尾的所有 元素。

3

[attribute*=value]

a[src*="abc"]

选择其 src 属性中包含 “abc” 子串的每个 元素。

3

:first-of-type

p:first-of-type

选择属于其父元素的首个元素的每个 元素。

3

:last-of-type

p:last-of-type

选择属于其父元素的最后元素的每个 元素。

3

:only-of-type

p:only-of-type

选择属于其父元素唯一的元素的每个 元素。

3

:only-child

p:only-child

选择属于其父元素的唯一子元素的每个元素。

3

:nth-child(n)

p:nth-child(2)

选择属于其父元素的第二个子元素的每个元素。

3

:nth-last-child(n)

p:nth-last-child(2)

同上,从最后一个子元素开始计数。

3

:nth-of-type(n)

p:nth-of-type(2)

选择属于其父元素第二个元素的每个 元素。

3

:nth-last-of-type(n)

p:nth-last-of-type(2)

同上,但是从最后一个子元素开始计数。

3

:last-child

p:last-child

选择属于其父元素最后一个子元素每个元素。

3

:root

:root

选择文档的根元素。

3

:empty

p:empty

选择没有子元素的每个元素(包括文本节点)。

3

:target

#news:target

选择当前活动的 #news 元素。

3

:enabled

input:enabled

选择每个启用的 <input>元素。

3

:disabled

input:disabled

选择每个禁用的 <input>元素

3

:checked

input:checked

选择每个被选中的 <input>元素。

3

:not(selector)

:not(p)

选择非<p>元素的每个元素。

3

::selection

::selection

选择被用户选取的元素部分。

3

CSS 选择器参见:http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面通过提取如下页面的国家数据来比较性能:

比较代码:

Windows执行结果:

Linux执行结果:

其中 re.purge() 用户清正则表达式的缓存。

推荐使用基于Linux的lxml,在同一网页多次分析的情况优势更为明显。

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2016-03-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏老马寒门IT

02Vue.js快速入门-Vue入门之数据绑定

Vue框架很核心的功能就是双向的数据绑定。 双向是指:HTML标签数据 绑定到 Vue对象,另外反方向数据也是绑定的。通俗点说就是,Vue对象的改变会直接影响到...

2765
来自专栏葡萄城控件技术团队

CSS变量(自定义属性)实践指南

Sass和Less这样的预处理器,让我们的CSS代码保持良好的结构和可维护性。像变量、混合(mixins)、循环控制等特性,增强了动态编写CSS的能力,从而减少...

1101
来自专栏Android干货

小程序实践(十):textarea实现简单的编辑文本界面

1352
来自专栏郭少华

(第一季)Vue2.0-内部指令

Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用。Vue 的核...

1203
来自专栏Java帮帮-微信公众号-技术文章全总结

Web-第三天 JavaScript学习【悟空教程】

用户在提交表单时,需要对用户的填写的数据进行校验。本案例只对用户名、密码、确认密码和邮箱进行校验。

1771
来自专栏黑泽君的专栏

day40_jQuery学习笔记_01

day01: jQuery基础 --> 选择器、属性和CSS、文档处理 day02: jQuery高级 --> 筛选、事件、效果(动画)、ajax

1232
来自专栏全沾开发(huā)

总结CSS3新特性(选择器篇)

总结CSS3新特性(选择器篇) CSS3新增了 ? 嗯- -21个选择器,脚本通过控制台在这里运...

2944
来自专栏柠檬先生

VUE 入门基础(8)

十,组件  使用组件   注册     可以通过以下这种方式创建一个Vue实例       new Vue({          el: ...

2229
来自专栏老马寒门IT

02-Vue入门之数据绑定

2.1. 什么是双向绑定? Vue框架很核心的功能就是双向的数据绑定。 双向是指:HTML标签数据 绑定到 Vue对象,另外反方向数据也是绑定的。通俗点说就是,...

2696
来自专栏JavaEdge

2018-07-161 初识JQuery

进入官方网站获取最新的版本 http://jquery.com/download/ ,这里需要注意 jQuery 分 2 个系列版本 1.x 与 2.x,主要...

711

扫码关注云+社区

领取腾讯云代金券