专栏首页Python爬虫与数据挖掘一篇文章教会你用Python多线程获取小米应用商店App

一篇文章教会你用Python多线程获取小米应用商店App

【一、项目背景】

小米应用商店给用户发现最好的安卓应用和游戏,安全可靠,可是要下载东西要一个一个的搜索太麻烦了。而已速度不是很快。

今天用多线程爬取小米应用商店的游戏模块。快速获取。

【二、项目目标】

目标 :应用分类 - 聊天社交 应用名称, 应用链接,显示在控制台供用户下载。

【三、涉及的库和网站】

1、网址:百度搜 - 小米应用商店,进入官网。

2、涉及的库:requests、threading 、queue 、json、time

3、软件:PyCharm

【四、项目分析】

1、确认是否为动态加载。

通过页面局部刷新, 右键查看网页源代码,搜索关键字未搜到 。断定此网站为动态加载网站,需要抓取网络数据包分析。

2、使用chrome浏览器,F12抓取网络数据包。

1)抓取返回json数据的URL地址(Headers中的Request URL)。

http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30

2)查看并分析查询参数(headers中的Query String Parameters)。

page: 1
categoryId: 2
pageSize: 30

发现只有page再变,0 1 2 3 ... ... ,这样我们就可以通过控制page的直拼接多个返回json数据的URL地址。

【五、项目实施】

1、我们定义一个class类继承object,然后定义init方法继承self,再定义一个主函数main继承self。准备导入库,url地址和请求头headers。

import requests
from threading import Thread
from queue import Queue
import json
import time
class  XiaomiSpider(object):
    def __init__(self):
      self.headers = {'User-Agent':'Mozilla/5.0'}
      self.url = 'http://app.mi.com/categotyAllListApi?page={}&categoryId=15&pageSize=30'
    def main(self):
        pass
if __name__ == '__main__':
    imageSpider =  XiaomiSpider()
    imageSpider.main()

2、定义队列,用来存放URL地址

self.url_queue = Queue()

3、URL入队列

def url_in(self):
    # 拼接多个URL地址,然后put()到队列中
    for i in range(67):
        self.url.format((str(i)))
        self.url_queue.put(self.url)

4、定义线程事件函数get_page(请求数据)

defget_page(self):
    # 先get()URL地址,发请求
    while True:
        # 当队列不为空时,获取url地址
        if not self.url_queue.empty():
            url = self.url_queue.get()
            html = requests.get(url,headers=self.headers).text
            self.parse_page(html)
        else:
            break

5、定义函数parse_page 解析json模块,提取应用名称,应用链接内容。

 # 解析函数
def parse_page(self,html):
    app_json = json.loads(html)
    for app in app_json['data']:
        # 应用名称
        name = app['displayName']
        # 应用链接
        link = 'http://app.mi.com/details?id={}'.format(app['packageName'])
        d = { '名称' : name,'链接' : link }
        print(d)

6、main方法, 定义t_list = [] 存放所有线程的列表。调用get_page多线程爬取。

def main(self):
    self.url_in()
    # 存放所有线程的列表
    t_list = []

    for i in range(10):
        t = Thread(target=self.get_page)
        t.start()
        t_list.append(t)

7、for循环遍历列表,统一回收线程。

# 统一回收线程
for p in t_list:
    p.join()

8、统计一下执行时间。

start = time.time()
spider = XiaomiSpider()
spider.main()
end = time.time()
print('执行时间:%.2f' % (end-start))

【六、效果展示】

1、运行程序。点击运行,将游戏名称,下载链接,执行时间,显示在控制台。

2、点击蓝色的网址可以直接去到下载页面下载应用,如下图所示。

【七、总结】

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

2、Python多线程优点。使用线程可以把占据长时间的程序中的任务放到后台去处,程序的运行速度可能加快。

3、单线程可以被抢占(中断),而已多线程就有了更多的选择。而已在其他线程正在运行时,线程可以暂时搁置(也称为睡眠)。可以释放一些珍贵的资源如内存占用。

4、大家也可以尝试在爬取其他分类,按照操作步骤,自己尝试去做。自己实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

本文分享自微信公众号 - Python爬虫与数据挖掘(crawler_python),作者:IT共享者

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 手把手教你用Python网络爬虫获取壁纸图片

    想要电脑换个壁纸时都特别苦恼,因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面图片的质量嘛,实在是不忍直视…。而有些4K高清的壁纸大多是有版权...

    Python进阶者
  • 手把手教你使用Python打造一个爱奇艺热播好剧提前搜系统

    今年的疫情让我们很多人对于打工望而却步,没办法,钱可以再挣,但是生命只有一次,于是,宅在家的我们无事可做,只好看看电影来打发下我们无聊的时间。

    Python进阶者
  • 手把手教你使用Python打造一个智能搜索淘宝商品,生成操作日志的系统

    随着网购的兴起,使得很多传统店铺转型做线上生意,电子商务的产生极大便利了我们的生活。

    Python进阶者
  • 【Python】python获取线程的返回值的方法

    py3study
  • python:组合模式

    组合模式是一种抽象。将整体和部分统一对待。 比如一个网页。它可以显示一条新闻,N条新闻,它的操作“显示”对于一条新闻和N条新闻的动作是一致的。“N条新闻”是“一...

    超级大猪
  • django分页Paginator的简单使用

    之前同事在项目中写了分页的一个函数,但是并没有返回结果集的总个数和总页数。所以我就想到了用 django 自带的分页类获取分页的数据。因为要分页的对象可能是个列...

    用户4945346
  • python pyqt5 获得城市天气

    from PyQt5 import QtCore, QtGui, QtWidgets

    用户5760343
  • 720p实时视频插帧 | 旷视科技&北大提出RIFE

    该文提出一种实时中间流估计(Intermediate Flow Estimation)算法RIFE用于视频插帧。现有视频插帧大多先估计双向光流,然后采用线性组...

    AIWalker
  • Python3 property属性

    python3中的property有一个很有意思的功能,它能将类中的方法像类属性一样调用!

    py3study
  • zabbix二次开发之批量添加web监控

    用户1057912

扫码关注云+社区

领取腾讯云代金券