前言
一提到 Python 大家第一反应就是爬虫,说到爬虫,大家对 Selenium 应该肯定不陌生吧,自动化测试的利器,爬一些复杂的网站肯定少不了它,但是有时候感觉它有点重量级,有没有轻量级的解决方案呢? 今天分享另外一个爬虫神器 ---- MechanicalSoup.
MechanicalSoup
简介
用于自动与网站交互的 Python 库。 MechanicalSoup 可以自动存储和发送 cookie,重定向,并可以跟踪链接和提交表单。 它不支持 JavaScript。
安装
通过 pip 安装,支持 python 2.7 | 3.4 | 3.5 | 3.6
例子
对比
它的官方文档中提到了与 Mechanize, RoboBrowser 和 Selenium 的对比, 这里主要就比较一下大家比较熟悉的 Selenium.
MechanicalSoup 同样可以与 HTML 元素交互,可以解析网页,填写和提交表单等,而 Selenium 就像一个成熟的 Web 浏览器,因此,两者之间最大的区别是 Selenium 可以与 JavaScript 交互. 如果不需要 JavaScript,那么 MechancialSoup 是一个简单,轻量级的解决方案.
最后长按下方二维码,欢迎大家关注我的公众号,每周分享一点新的知识.
领取专属 10元无门槛券
私享最新 技术干货