前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >推荐一个大佬开发的爬虫库,支持某宝、某乎等数十个主流平台解密登录

推荐一个大佬开发的爬虫库,支持某宝、某乎等数十个主流平台解密登录

作者头像
luanhz
发布2021-06-24 14:25:11
5770
发布2021-06-24 14:25:11
举报
文章被收录于专栏:小数志

导读

跟很多Python爱好者一样,笔者初学Python时也是从爬虫入门,并一度玩的不亦乐乎,源于其简单易上手的低门槛,也源于其所见即所得的即时获得感。与此同时,熟悉Python爬虫的也一定有过大量的反爬与反反爬的斗争经历,轻则ip封禁一段时间,重则也可能是面向JianYu编程。所以,在遭受到不断爬虫的打击以及认识到这个事情本身的严肃性之后,笔者就只是偶尔玩玩而已,不再执泥于其中了。

近日,因特殊需要,在试图再次攻克某宝平台的爬虫时,竟无意间发现一款国内某大佬的Python爬虫库,简单了解之下,发现竟几乎涵盖了所有主流平台的解密登录,对于爬虫新人来说体验非常友好,更重要的是发现作者还提供了详细的中英双语使用文档,真乃我辈楷模!赞叹之余,简要成文加以分享,致敬作者!

话不多说,这个爬虫库叫作DecryptLogin,其中decrypt英文原义即为解密的意思,所以该库名即为解密登录。之所以此如此命名,显然是因为熟悉爬虫的都知道,大平台网站的数据爬取难在模拟登录:如果可以顺利攻克登录环节,后续的网页获取和解析其实都是常规操作。所以,该库就是针对爬虫过程中的这一核心痛点提供了解决方案

作者目前已将该爬虫库开源至github,目前在github上收获1.6Kstar和近500fork,并保持持续更新维护。同时,为了照顾python使用者的习惯,作者也将该库上传到了pypi,所以可直接通过pip install完成一键安装,当然期间会涉及到少量的第三方包依赖。如果在线安装有问题的,也支持离线安装途径,具体可参考说明文档。

代码语言:javascript
复制
pip install DecryptLogin

安装完毕之后,典型的三行代码即可完成登录和获取爬虫session变量。当前,该库考虑了扫码登录、PC端和APP端三种场景,各平台依据实际情况支持不同的登录类型。这里首先以扫码登录某宝为例:

代码语言:javascript
复制
from DecryptLogin import login
lg = login.Login()
infos_return, session = lg.taobao('', '', 'scanqr')

这里登录某宝时并未显式的提供账号名和密码,在执行如上三行命令后会自动下载并弹出登录二维码,利用手机APP扫码即可。而后程序中的session变量即可用于后续爬虫(多说一句:这里的session变量是带有登录后的cookie信息,后续可直接像requests.get一样执行session.get操作),这种体验真的很棒。

除此之外,另一种典型方式是显式提供账密即可,例如从PC端登录某乎:

代码语言:javascript
复制
from DecryptLogin import login
lg = login.Login()
infos_return, session = lg.zhihu(username, password, 'pc')

最后,给出该库支持的所有平台及登录方式一览图:

注:本文无任何推介成分,纯粹是出于向该爬虫库原作者致敬。如果对该库感兴趣,可以库名作为关键词搜索自行了解探索,本文就不提供相关链接了。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-05-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 小数志 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档