Python爬虫真的很简单，爬取一个网页可以用四种方法实现

对于大多数朋友而言，爬虫绝对是学习python的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功入门。

本文想针对某一网页对python基础爬虫的两大解析库（BeautifulSoup和lxml）和几种信息提取实现方法进行分析，以开python爬虫之初见。

爬虫的固定模式

个人比较喜欢的爬虫组合工具是：

requests+BeautifulSoup

requests+lxml

同一网页爬虫的四种实现方式

怎么快速学python，有什么方法，打算深入了解这个行业的朋友，可以加python学习羊君：399288541，邀请码：（云曦）不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2018最新的python资料和0基础入门教程，欢迎初学和进阶中的小伙伴。

每天晚上20:00我都会开直播给大家分享python知识和路线方法，群里会不定期更新最新的教程和学习方法，大家都是学习python的，或是转行，或是大学生，还有工作中想提升自己能力的python党，如果你是正在学习python的小伙伴可以加入学习。

最后祝所有程序员都能够走上人生巅峰，让代码将梦想照进现实，非常适合新手学习，有不懂的问题可以随时问我，工作不忙的时候希望可以给大家解惑。

比如咱们爬取腾讯新闻

方式一：requests+BeautifulSoup+selectcss选择器

非常普通的爬取处理，实现效果：

方式二：requests+BeautifulSoup+find_all进行信息提取

同样是requests+BeautifulSoup的爬虫组合，但在信息提取上采用了find_all的方式。效果如下：

方式三：requests+lxml/etree+xpath表达式

使用lxml库下的etree模块进行解析，然后使用xpath表达式进行信息提取，效率要略高于BeautifulSoup+select方法。这里对两个列表的组合采用了zip方法。

方式四：requests+lxml/html/fromstring+xpath表达式

跟方法三类似，只是在解析上使用了lxml库下的html.fromstring模块。

很多人觉得爬虫有点难以掌握，因为知识点太多，需要懂前端、需要python熟练、还需要懂数据库，更不用说正则表达式、XPath表达式这些。其实对于一个简单网页的数据抓取，不妨多尝试几种抓取方案，举一反三，也更能对python爬虫有较深的理解。长此以往，对于各类网页结构都有所涉猎，自然经验丰富，水到渠成。