学习爬虫,以下内容要学习:
目标地址1:https://pvp.qq.com/web201605/herolist.shtml
目标网址2:https://pvp.qq.com/web201605/herodetail/{英雄编号}.shtml
全部王者英雄的英雄故事!
import os
import re
import bs4
import requests
import chardet # 可选,可不选
import logging # 可选,可不选
先看一下代码的整体结构:
这里我定义了三个全局变量,如果放到主函数里,可以使框架更清晰。
首先,进入王者荣耀官网:https://pvp.qq.com/ 按照以下步骤打开一个新的页面,得到第一个目标网址。
接着,进行第一个内容的爬取,英雄的名称和编号:
那我首先要知道,这个东西在哪,对不对?
如图所示(本来录的GIF,结果放不出来):
再点击一下,便可以得到想要的URL
requests库,re模块,正则表达式
import re
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36'
}
# 获取英雄名称及对应编号
def get_hero_num(url):
response = requests.get(url=url, headers=headers).text
hero_list = re.findall('"ename": (.+?),', response, re.S) # 得到英雄的编号列表
hero_name = re.findall('"cname": "(.+?)"', response, re.S) # 得到英雄的名字列表
return hero_name, hero_list
def main():
url = 'https://pvp.qq.com/web201605/js/herolist.json'
hero_name, hero_list = get_hero_num(url)
print('英雄名称为:\n', hero_name)
print('英雄编号为:\n', hero_list)
是可以成功获取的。
将英雄的编号,填入目标网址2对应的英雄编号处:
https://pvp.qq.com/web201605/herodetail/{英雄编号}.shtml
然后就访问这个页面咯(先用新英雄云缨试一下,对应编号为538)
requests库,bs4库,chardet库(可选,但建议学一下)
url = 'https://pvp.qq.com/web201605/herodetail/538.shtml'# 进入英雄详细页面的链接
res = requests.get(url=url, headers=headers)
res.encoding = chardet.detect(res.content)['encoding'] # 统一字符编码,解决乱码问题
res = res.text
print(res)
你看,这不就得到了吗
下面就是对这部分的数据进行清洗。
也很简单,利用“美丽的汤”–BeautifulSoup库,在上述代码加上这三句:
soup = bs4.BeautifulSoup(res, 'html.parser')
story = soup.select('.pop-bd')[0].text
print(story)
芜湖,这样就可以得到了
故事的展现有点问题,但影响不大,一会再优化。
我对上面代码加了一点点,改动,并没有一次性爬取所有的英雄的故事,而是根据用户的输入进行指定爬取。
贴上结果先,嘻嘻~
代码如下:
# -*- coding: UTF-8 -*-
# @Time: 2021/7/18 18:08
# @Author: 远方的星
# @CSDN: https://blog.csdn.net/qq_44921056
import os
import re
import bs4
import requests
import chardet
import logging
# 日志输出的基本配置
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
# 创建一个文件夹
path = './王者故事'
if not os.path.exists(path):
os.mkdir(path)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36'
}
# 获取英雄名称及对应编号
def get_hero_num(url, hero_dream):
response = requests.get(url=url, headers=headers).text
# print(response)
hero_list = re.findall('"ename": (.+?),', response, re.S) # 得到英雄的编号列表
hero_name = re.findall('"cname": "(.+?)"', response, re.S) # 得到英雄的名字列表
hero_num = hero_name.index(hero_dream)
num = hero_list[hero_num] # 得到英雄序号
return num
# 根据编号获取英雄背景故事
def get_story(num):
url = 'https://pvp.qq.com/web201605/herodetail/{}.shtml'.format(num) # 进入英雄详细页面的链接
res = requests.get(url=url, headers=headers)
res.encoding = chardet.detect(res.content)['encoding'] # 统一字符编码,解决乱码问题
res = res.text
soup = bs4.BeautifulSoup(res, 'html.parser')
story = soup.select('.pop-bd')[0].text # 虚拟故事段
story = story.replace(' ', '\n').replace('”', '\n').replace(' ', '')
story = story.encode(encoding='utf-8')
return story
# 下载故事
def download(hero_dream, story): # 下载函数
file_name = hero_dream+'.txt'
file_path = path + '/' + file_name
with open(file_path, 'wb') as f:
f.write(story)
logging.info('{}的故事已经下载完成啦!感谢您的使用~')
f.close()
def main():
hero_dream = input("请输入你想查看的英雄故事:")
url = 'https://pvp.qq.com/web201605/js/herolist.json'
num = get_hero_num(url, hero_dream)
story = get_story(num)
download(hero_dream, story)
if __name__ == '__main__':
main()
希望能对你有所帮助~~~
所以,我有故事,你有酒吗?
作者:远方的星
CSDN:https://blog.csdn.net/qq_44921056
腾讯云:https://cloud.tencent.com/developer/column/91164
本文仅用于交流学习,未经作者允许,禁止转载,更勿做其他用途,违者必究。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。