爬虫神器-MechanicalSoup

前言

一提到 Python 大家第一反应就是爬虫,说到爬虫,大家对 Selenium 应该肯定不陌生吧,自动化测试的利器,爬一些复杂的网站肯定少不了它,但是有时候感觉它有点重量级,有没有轻量级的解决方案呢? 今天分享另外一个爬虫神器 ---- MechanicalSoup.

MechanicalSoup

简介

用于自动与网站交互的 Python 库。 MechanicalSoup 可以自动存储和发送 cookie，重定向，并可以跟踪链接和提交表单。 它不支持 JavaScript。

安装

通过 pip 安装,支持 python 2.7 | 3.4 | 3.5 | 3.6

例子

对比

它的官方文档中提到了与 Mechanize, RoboBrowser 和 Selenium 的对比, 这里主要就比较一下大家比较熟悉的 Selenium.

MechanicalSoup 同样可以与 HTML 元素交互,可以解析网页，填写和提交表单等，而 Selenium 就像一个成熟的 Web 浏览器,因此,两者之间最大的区别是 Selenium 可以与 JavaScript 交互. 如果不需要 JavaScript,那么 MechancialSoup 是一个简单，轻量级的解决方案.

最后长按下方二维码,欢迎大家关注我的公众号,每周分享一点新的知识.