前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python爬虫公众号所有信息,并批量下载公众号视频

python爬虫公众号所有信息,并批量下载公众号视频

作者头像
Python疯子
发布2019-12-16 17:34:38
2.6K0
发布2019-12-16 17:34:38
举报
文章被收录于专栏:Python疯子

之前写过一篇类似的文章:python爬取公众号,用最简单的方式爬虫

还有同学一直在问,可能中间有一些小细节不明确,这次彻底明确一下细节。

本篇添加一个批量下载公众号内视频的功能,可以实现完全复制一个公众号,危险动作,请不要操作!谢谢

主要功能 如何简单爬虫微信公众号 获取信息:标题、摘要、封面、文章地址 自动批量下载公众号内的视频

本次选取的公众号:熊孩子与萌宠

每天更新视频:熊孩子日常、萌宠日常、熊孩子和萌宠搞笑视频,笑声不断快乐常伴!

获取公众号信息

标题、摘要、封面、文章URL

操作步骤: 1、先自己申请一个公众号 2、登录自己的账号,新建文章图文,点击超链接

image

3、弹出搜索框,搜索自己需要的公众号,查看历史文章

image

image

4、通过抓包获取信息,定位请求的url

image

通过查看信息,找到了我们需要关键的内容:标题、摘要、封面和文章URL,确定这就是我们需要的URL,通过点击下一页,多次获取url发现,只有random和bengin的参数发生变化

image

所以主信息URL确定。

那就开始吧:

事实发现我们需要修改的参数为:token、random、cookie

这两个值的来源,获取url时的就可以

代码语言:javascript
复制
# -*- coding: utf-8 -*-
import re

import requests
import jsonpath
import json

headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Host": "mp.weixin.qq.com",
"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",
"Cookie": "自己获取信息时的cookie"
       }

def getInfo():
    for i in range(80):
        # token  random 需要要自己的   begin:参数传入
        url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

        response = requests.get(url, headers = headers)

        jsonRes = response.json()


        titleList = jsonpath.jsonpath(jsonRes, "$..title")
        coverList = jsonpath.jsonpath(jsonRes, "$..cover")
        urlList = jsonpath.jsonpath(jsonRes, "$..link")

        # 遍历 构造可存储字符串
        for index in range(len(titleList)):
            title = titleList[index]
            cover = coverList[index]
            url = urlList[index]

            scvStr = "%s,%s, %s,\n" % (title, cover, url)
            with open("info.csv", "a+", encoding="gbk", newline='') as f:
                f.write(scvStr)

获取结果(成功):

image

获取文章内视频

实现批量下载通过对单篇视频文章分析,我找到了这个链接:

image

通过网页打开发现,是视频的网页下载链接:

image

image

哎,好像有点意思了,找到了视频的网页纯下载链接,那就开始吧。

发现链接里的有一个关键参数vid 不知道哪来的?

和获取到的其他信息也没有关系,那就只能硬来了。

通过对单文章的url请求信息里发现了这个参数,然后进行获取。

代码语言:javascript
复制
response = requests.get(url_wxv, headers=headers)

    # 我用的是正则,也可以使用xpath
    jsonRes = response.text  #  匹配:wxv_1105179750743556096
    dirRe = r"wxv_.{19}"
    result = re.search(dirRe, jsonRes)

    wxv = result.group(0)
    print(wxv)

视频下载:

代码语言:javascript
复制
def getVideo(video_title, url_wxv):
    video_path = './videoFiles/' + video_title + ".mp4"

    # 页面可下载形式
    video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv
    response = requests.get(video_url_temp, headers=headers)
    content = response.content.decode()
    content = json.loads(content)
    url_info = content.get("url_info")
    video_url2 = url_info[0].get("url")
    print(video_url2)

    # 请求要下载的url地址
    html = requests.get(video_url2)
    # content返回的是bytes型也就是二进制的数据。
    html = html.content
    with open(video_path, 'wb') as f:
        f.write(html)

那么所有信息就都完成了,进行code组装。

a、获取公众号信息 b、筛选单篇文章信息 c、获取vid信息 d、拼接视频页面下载URL e、下载视频,保存

代码实验结果:

image

image

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 本次选取的公众号:熊孩子与萌宠
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档