专栏首页算法与数据之美一键下载掌盟文章

一键下载掌盟文章

爬了不少网页,还没试过app,今天就来实战一下吧!本次目标是爬取掌上英雄联盟app的文章,需要备有Fiddler,MongoDB(可选),一个安装了掌上英雄联盟的手机。

苹果手机抓包配置

俗话说工欲善其事,必先利其器,在抓包之前我们需要完成相关的配置。首先我们需要在电脑上下载并安装好Fiddler,安装之后点Tools 中的Options菜单,按照下图设置HTTPS:

勾选忽略证书错误选项,并且修改Connections,选中允许远程连接

接下来是手机端的配置,最简单的一个做法是让手机和电脑处于同个网络中,打开手机连接的无线网进行配置,将电脑的ip地址填入服务器位置,端口输入和Fiddler一致的端口8888。

然后打开手机浏览器,在地址栏输入电脑的ip地址加上端口号,进行证书的安装。

分析并抓取文章

打开掌盟,并用Fiddler抓包,观察发现包含文章的连接就是下面选中的这个,我们继续滑动掌盟,不断刷新文章。

结果发现,这些参数依然不变,plat是平台,version和areaid这两个参数没有发现是什么作用,并且最重要的是所有文章的信息都包含在上图的链接之中。

在这个json中包含了所有文章的全部信息,再进入其中的article_url可以看到文章的内容。接下来,就交给我们的老朋友requests吧!

将所有文章的基本数据入库存储,接下来便可以用pdfkit这个第三方库,将url链接转换成pdf,下载到本地,以备随时查看。pdfkit的使用需要下载wkhtmltopdf安装包,并且安装到电脑上。

这里加入了一定的时延,以免无法及时转换成pdf而报错。

这些攻略要闻,更新改动就全部存储在本地啦~

喜欢就点个赞吧❤

本文分享自微信公众号 - 算法与数据之美(algo_and_data),作者:斐波那契小李

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 新版滑动验证码

    今天的主角是滑动验证码,现在有很多网站使用了极验验证码来智能反爬虫,其中有一种是滑动验证码,具体来说就是拖动滑块来拼合图像,若图像完全拼合,则验证成功。下图是B...

    老肥码码码
  • 手写一个简单的提升算法AdaBoost

    提升方法是一种常用的统计学习方法,应用广泛并且有效。很多机器学习的库都对该方法进行了封装,调用它们也相对容易。而通过自己手写一个算法能让自己加深对算法的理解。

    老肥码码码
  • 用Python做一个久坐提醒小助手

    整体的构思类似于一个番茄时钟,提供一个倒计时功能并且在完成计时时发出警告。主要分为如下几个模块,一是时间选择模块,二是按钮模块,控制计时开始、暂停以及恢复,三是...

    老肥码码码
  • conda清华镜像源失效

    以前安装生信软件,可以用conda方便地安装,现在清华镜像源不能用了。如果想用conda需要把之前添加的清华和中科大镜像源都删除。condarc下删除就可以了。...

    Y大宽
  • 让电脑的灵魂跟你走--电脑远程控制

    电脑远程控制是为了方便人们随时随地访问自己的电脑,从而进行更加灵活高效的工作。最常见的远程控制是我们利用客户端直接进入后台操作命令行界面。也就是终端shell。...

    用户1687088
  • BTree

    大学里的混子
  • Pandas|排序,分组,组内排序

    01 Pandas的基本排序 Pandas的主要数据结构有2个:DataFrame,Series,针对这两个类型的排序Demo如下: #coding=utf-...

    double
  • HTML5手机APP开发入门(1)

    HTML5手机APP开发入门(1) 开发框架 Ionicframework V2 + Angular 2 具体内容可以参考一下网站 http://ionicf...

    阿新
  • Composer介绍

    Composer 是 PHP 的一个依赖管理工具。它允许你申明项目所依赖的代码库,它会在你的项目中为你安装他们。 依赖管理 Composer 不是一个包管理器。...

    wangxl
  • 智动大闯关题解

    按ctrl + u 查看源代码 可以看到有一个设置为白色的下一关的按钮,点击即可过关。

    学前端

扫码关注云+社区

领取腾讯云代金券