前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >我又开发了个批量下载工具

我又开发了个批量下载工具

作者头像
苏生不惑
发布2022-04-11 16:28:24
8550
发布2022-04-11 16:28:24
举报
文章被收录于专栏:苏生不惑苏生不惑

上周分享过因为读者的一个问题,我写了个公众号批量下载工具 ,这周我又增加了视频批量下载和话题批量下载,也用python打包了个工具

单篇文章神雕侠侣,绝迹江湖!金庸经典武侠《神雕侠侣》大结局 的视频可以用idm下载。

视频链接通过正则匹配来批量下载视频:

代码语言:javascript
复制
def video(res, headers):
    vid = re.search(r'wxv_.{19}',res.text).group(0)
    time.sleep(2)
    if vid:
        url = f'https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&vid={vid}'
        data = requests.get(url,headers=headers).json()
        video_url = data['url_info'][0]['url']
        video_data = requests.get(video_url,headers=headers)
        print('正在下载视频:'+trimName(data['title'])+'.mp4')
        with open(data['title']+'.mp4','wb') as f:
            f.write(video_data.content)

批量下载视频效果如图:

话题就以我的公众号话题为例:

同样打开我打包的工具,输入话题链接开始下载:

视频和音频都可以下载,如果有bug可以向我反馈:

部分代码如下:

代码语言:javascript
复制
topic_url = input('请输入话题地址:')
biz=re.search(r'__biz=(.*?)&',topic_url).group(1)
album_id=re.search(r'album_id=(.*?)&',topic_url).group(1)
response = requests.get(topic_url, headers=headers)
msgids = re.findall('data-msgid="(.*)"',response.text)
links = re.findall('data-link="(.*)"',response.text)
titles = re.findall('data-title="(.*)"',response.text)
for i,j,k in zip(msgids,links,titles):
 print('开始下载',j,k)
 msgid = i
 res = requests.get(j,proxies={'http': None,'https': None},verify=False, headers=headers)
 content = res.text.replace('data-src', 'src') 
 title = re.search(r'var msg_title = \'(.*)\'', content).group(1)
 ct = re.search(r'var ct = "(.*)";', content).group(1)
 date = time.strftime('%Y-%m-%d', time.localtime(int(ct)))
 try:
  audio(res,headers,date,title)
  video(res,headers,date)
  with open(date+'_'+k+'.html', 'w', encoding='utf-8') as f:
   f.write(content)
 except Exception as err:
  with open(str(randint(1,10))+'.html', 'w', encoding='utf-8') as f:
   f.write(content)
 

如果还想批量下载公众号文章可以参考之前文章一键批量下载微信公众号文章内容/图片/封面/视频/音频,支持导出html和pdf格式,包含阅读数/点赞数/在看数/留言数 , 文章数据包含文章日期,文章标题,文章链接,文章简介,文章作者,文章封面图,是否原创,阅读数,在看数,点赞数和留言数,比如我抓取过深圳卫健委的公众号数据听说公众号深圳卫健委被网友投诉尺度大,我抓取了所有文章标题和阅读数分析了下

留言内容可以下载抓取了公众号历史文章的留言 ,如果你有需要下载的公众号或抓取数据可以微信联系我。

再次推荐下我的博客https://blog-susheng.vercel.app ,可以在线看部分公众号文章10 分钟带你免费搭建一个属于自己的博客

以及之前分享过的网站,Windows软件,app,chrome扩展,油猴脚本系列等,还在不断更新:

最后更新了下之前分享过的知乎回答抓取工具 一键下载QQ空间相册,微博相册,知乎回答图片,豆瓣图片,instagram图片

输入问题id,很快就下载了几百张周杰伦的图片:

回答内容也批量下载到excel,包括回答人昵称和回答内容:

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-03-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 苏生不惑 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档