爬虫神器-MechanicalSoup

前言

一提到 Python 大家第一反应就是爬虫,说到爬虫,大家对 Selenium 应该肯定不陌生吧,自动化测试的利器,爬一些复杂的网站肯定少不了它,但是有时候感觉它有点重量级,有没有轻量级的解决方案呢? 今天分享另外一个爬虫神器 ---- MechanicalSoup.

MechanicalSoup

简介

用于自动与网站交互的 Python 库。 MechanicalSoup 可以自动存储和发送 cookie,重定向,并可以跟踪链接和提交表单。 它不支持 JavaScript。

安装

通过 pip 安装,支持 python 2.7 | 3.4 | 3.5 | 3.6

例子

对比

它的官方文档中提到了与 Mechanize, RoboBrowser 和 Selenium 的对比, 这里主要就比较一下大家比较熟悉的 Selenium.

MechanicalSoup 同样可以与 HTML 元素交互,可以解析网页,填写和提交表单等,而 Selenium 就像一个成熟的 Web 浏览器,因此,两者之间最大的区别是 Selenium 可以与 JavaScript 交互. 如果不需要 JavaScript,那么 MechancialSoup 是一个简单,轻量级的解决方案.

最后长按下方二维码,欢迎大家关注我的公众号,每周分享一点新的知识.

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181210G1C5OV00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券