说起来我很久没有写爬虫了主要是觉得 如果能花比较少的钱
就能得到一份资料的话那付出一点费用作为酬劳又何尝不可呢
说个同事小哥告诉我的事情:
国内比较有名的ip库
地址:https://www.ipip.net/
有付费和免费的api接口,免费的接口有一定的限制
这个网站的站长曾经说 我发现很多人(公司)宁愿花钱部署大量的服务器爬虫来查我的ip库也不愿意付一点点费用来获取更好的服务
缘起
那我这次为啥要来写腾讯漫画爬虫的呢?
是因为有一个父亲在公众号后台问我能不能做个 腾讯漫画 的爬虫 来给他女儿学画画的时候当做素材
一开始我也推荐他去直接买一个vip包月服务
后来我打开腾讯漫画一看发现根本没有包月这种东西
每一章漫画都要付一定的费用并且还没有下载的功能于是我撸起袖子搞了这个爬虫
先看效果
下载过程
下载之后
图片文件
预览效果
还不错吧~
部分代码
基本思路就是:
抓取列表页
抓详情页
解析图片地址
下载图片
比较关键的是对于图片地址的解析这里腾讯数据是经过加密的我研究了好一会才知道是怎么回事~
漫画的基本数据会以json的格式存在本地差不多是这样:
最后
为什么说是免费呢?这就需要大家去研究一下腾讯漫画的代码了我就不明着说出来了~
话说代码我也开源带Github了需要用的小伙伴自取啊~link:https://github.com/Ehco1996/Python-crawler
另外如果想学习怎么写爬虫的小伙伴~可以关注我的知乎专栏:https://zhuanlan.zhihu.com/Ehco-python
写公众号也有1年多时间了终于能开通广告栏了劳烦各位大佬帮忙点一下广告呗~