用Python爬取手机APP

前言

如果你以为python只可以爬取web网页,那就大错特错了,本篇文章教你如何爬取手机app的信息。

Charles(抓包工具)的安装

1.1 下载

由于是收费软件,这里给大家一个链接,自行下载,windows版本,如果是其他系统还是去官网吧。

windows版:

1.2 安装证书

由于现在的网站基本全都是https通信协议,所以我们需要配置SSL证书。

下载完成后打开软件。点击help-->SSL Proxying-->install Charles Root Centificate。

在弹出的安装证书页面,点击安装证书,点下一步--选择证书的存储区域--下一步--选择将所有的证书都放如下列存储--浏览--受信任的根证书颁发机构--确定--下一个--是--安装完成。

1.3 手机安装证书(Android)

在pc端的Charles中查看代理是否开启。Proxy-->Proxy Settings。查看HTTP Proxy 是否开启,没有开启的点击 Enable transparent HTTP proxying,点击ok即可。

手机和电脑连同一个wifi,查看一下电脑的ip地址。我的是192.168.1.17。打开手机的wifi,连上wifi,代理,手动,主机名填写ip地址,也就是192.168.1.17.默认端口欧为8888,电脑上会弹出一个是否信任的窗口,点击Allow即可。

手机端在浏览器(不要用原装浏览器)中打开chls.pro/ssl 会弹出一个下载页面,下载即可。

1.4 体验一下Charles

点一下左侧的扫把,清空,开启监听,即左侧第二个按钮。手机打开qq,打开列表一直划,会看到左侧出现了很多求情,遗憾的是只能看到好友的头像,其他内容都加密了。捕捉到信息后点击一下,再点击右边的Contents,可以看下返回的数据,json,jsontext 等等,捕捉到的信息足够我们分析页面就好了。可以自己动手体验一下。

Appium的安装

appium是什么?和selenium很像,一个在pc端,一个在手机端而已。

appium下载地址:

Android Studio下载地址:

我们还需要安装java环境。和nodejs,这些直接百度下载,安装即可,需要配置好环境变量。

appium的使用

安装好所有的配置环境后。我们打开appium、会看到这个页面。

我们直接点击 Start Server 即可。注意,appium使用的前提是需要android sdk和 java环境。如果没有配置好,后面运行是会报错的,出现错误可以后台直接回复,看到会第一时间回复。点击之后我们进入到这个页面:

此时我们需要将我们的Android手机用数据线和电脑连接,并且把手机的use调试功能打开。我们可以输入dos命令,查看手机是否已经连接并开启了usb调试功能。adb devices -l 会看到:

表示手机连接成功,如果没有出现,说明可能手机没有开启usb调试功能。model 表示手机型号.

点击Save, 再点击Start Session,会看到如下页面。

找到我们的登录按钮,点击一下右侧Tab,即可进入登录页面:

同样的,我们定位到手机号按钮,点击右侧的Send keys, 即可:

点击Send keys 即可同步。如果要生成对应的python代码,可以这样:

点击最上方第三个录制按钮,再点一下Tab,在Recorder选择python即可。

用python操控app

4.1 打开微信

这样即可达到打开微信的操作。

4.2 点击登录输入电话号码

这里需要有selenium的基础和解析库的基础,不知道的可以看下:连接1,连接2

4.3 获取微信按钮的id

其他操作

上一个示例已经完成初始化desired capabilities,定位到元素,点击,文本输入操作操作。

5.1 屏幕滚动操作

scroll('被操控元素','目标元素')

5.2 利用坐标滚动

5.3 拖拽操作

drag_and_drop('被拖拽元素','拖拽到的目标元素')

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181201A1CO7H00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券