爬虫你还在用selenium吗，out了！

shigen坚持日更的博客写手，擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。坚持记录和分享从业两年以来的技术积累和思考，不断沉淀和成长。

最近遇到了一件事情：我的chrome浏览器升级了，但是对应的webdriver还没有升级，我只能被迫的接受使用safari浏览器实现爬虫。

虽然是mac自带的浏览器，但是我chrome浏览器用惯了，改不过来习惯了。但是最近发新闻还是被迫的使用safari浏览器作为浏览器。

我也一直在从slenium作为爬虫的框架，它主要webdriver，这样就有了诸多的问题：

1. 配置比较麻烦，对于新手可能不是很友好
2. 版本必须和浏览器的版本匹配。我之前的一段时间就是因为chrome升级了，但是driver没升级导致无法使用脚本操作服务器
3. selenium新版本的api和老版本的出入较大。之前在解决问题时，发现很多旧文档中给的代码案例在新的版本中已经不能用了

好了，现在救星来了，slenium作为爬虫工具已经成为了历史。

DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。

这引自DrissionPage官方的文档，但是具体怎么样，还是得去看看吧。来和shigen一起探索吧。

安装

pip install DrissionPage

成功的安装

代码测试

根据官方的案例：采集猫眼电影top100榜，我们直接复制粘贴代码。

获得猫眼top100榜单的代码

我就等了几秒钟的样子，它打开了一个新的web tab页面，就在疯狂的分页，之后数据全部放在了data.csv里边了。

爬取的榜单信息

这个比之前用requests库简单多了！

shigen直呼过瘾，下边的代码我就要自己去造了！爬取极简壁纸。不过也有点心疼作者，免费的网站，还要承受这样的流量攻击。果然应证了那句话：免费的才是最贵的！

image-20231029204632133

代码就是这么的简单，但是最后还是没下载成功，前端处理了一下文件的地址。

爬取的图片地址

相信我们后期会得到好的解决办法，shigen也会持续的更新。总之，drissionPage这个框架太好用了！

更多的使用方法，大家也可以去查看一下文档。

以上就是今天分享的全部内容了，觉得不错的话，记得点赞 在看 关注支持一下哈，您的鼓励和支持将是shigen坚持日更的动力。同时，shigen在多个平台都有文章的同步，也可以同步的浏览和订阅：

与shigen一起，每天不一样！