Python爬虫实例十七：爬取王者荣耀英雄语音

# -*- coding: UTF-8 -*-
"""
# @Time: 2021/8/10 12:13
# @Author: 远方的星
# @CSDN: https://blog.csdn.net/qq_44921056
"""
import os
import re
import json
import requests
import chardet
from pydub import AudioSegment
from fake_useragent import UserAgent

# 随机产生请求头
ua = UserAgent(verify_ssl=False, path='D:/Pycharm/fake_useragent.json')

# 提前创建一个文件夹,方便创建子文件夹
path_f = "./王者语音"
if not os.path.exists(path_f):
    os.mkdir(path_f)


# 随机切换请求头
def random_ua():
    headers = {
        "accept-encoding": "gzip",  # gzip压缩编码  能提高传输文件速率
        "user-agent": ua.random
    }
    return headers


#  创建文件夹
def path_creat(name):
    _path = "./王者语音/{}/".format(name)
    if not os.path.exists(_path):
        os.mkdir(_path)
    return _path


#  下载语音内容
def download(file_name, text, path):  # 下载函数
    file_path = path + file_name
    with open(file_path, 'wb') as f:
        f.write(text)
        f.close()


#  获取英雄名称及对应编号
def get_hero_num():
    url = 'https://pvp.qq.com/web201605/js/herolist.json'
    response = requests.get(url=url, headers=random_ua()).text
    hero_list = re.findall('"ename": (.+?),', response, re.S)  # 得到英雄的编号列表
    hero_name = re.findall('"cname": "(.+?)"', response, re.S)  # 得到英雄的名字列表
    return hero_list, hero_name


def text_json():
    url = 'https://pvp.qq.com/zlkdatasys/data_zlk_lb.json'
    param = {
        'callback': 'createList'
    }

    res = requests.get(url=url, headers=random_ua(), params=param)
    res.encoding = chardet.detect(res.content)['encoding']
    res = res.text.replace('createList(', '').replace(')', '')  # 去掉不符合json格式的部分字符串数据

    res_json = json.loads(res)  # 将字符串json格式化

    hero = res_json["yylb_34"]  # 所有英雄语音信息
    return hero


# 处理台词文本
def text_deal(text):
    text_result = ''  # 为台词连接做准备
    for j in range(len(text)):
        text_result += text[j]  # 将台词连起来
        text_result += '\n\n'  # 加一个断句的换行符
    text_result = text_result.encode(encoding='utf-8')
    return text_result


def main():
    hero_list, hero_name = get_hero_num()  # 获取英雄编号及名称
    hero_s = text_json()
    for i in range(len(hero_s)):  # len(hero_s)
        hero = hero_s[i]["yxid_a7"]  # 英雄编号

        hero_index = hero_list.index(hero)  # 获取英雄名称对应的索引
        name_result = hero_name[hero_index]  # 确定英雄名称

        path = path_creat(name_result)  # 创建子文件夹

        voice_list = hero_s[i]["yy_4e"]  # 语音列表

        num = 1
        text = []
        silence = AudioSegment.silent(duration=1000)  # 1秒的空期

        try:  # 有部分英雄的语音合成会失败
            for j in range(len(voice_list)):
                voice_text = voice_list[j]["yywa1_f2"]  # 语音文本
                text.append(voice_text)  # 拼接文本

                voice_url = 'http:' + voice_list[j]["yyyp_9a"]  # 语音mp3的url
                voice = requests.get(url=voice_url, headers=random_ua()).content
                voice_name = name_result + '{}.mp3'.format(num)
                download(voice_name, voice, path)  # 下载单个语音
                sound = AudioSegment.from_file(path + voice_name, format="mp3")  # 读取下载的MP3文件
                silence += sound  # 语音合成
                num += 1
            silence.export(path + '{}.mp3'.format(name_result), format="mp3")  # 导出合成语音
            print('{}语音合成成功\n'.format(name_result))
        except:
            print('{}语音合成失败\n'.format(name_result))
        text_result = text_deal(text)  # 最终的文本
        text_name = name_result + '.txt'  # 语音文本文件名称
        download(text_name, text_result, path)  # 下载语音文本
        print("{}的语音文本信息下载完毕！\n".format(name_result))


if __name__ == '__main__':
    main()