妈妈再也不用担心我不知道那些游戏没有打折了,一键爬取steam优惠名单,就是写到钱的部分程序崩溃了,以至于只有游戏名
环境需要 Python3.5.4
的版本 需要的运行库有
首先看一下,steam的网站结构
发现游戏名字是存在 <divclass="responsive_search_name_combined">
下的再去看url链接https://store.steampowered.com/search/?specials=1&page=1
其中page=1就是第一页的意思,所以整体思路就有了,先写一个页面的循环
pageid = 1
while pageid<599:
url = "https://store.steampowered.com/search/?specials=1&page=" + str(pageid)
res = requests.get(url)
soup = bs4.BeautifulSoup(res.text)
contents = soup.select('div[class="responsive_search_name_combined"]')
这样,599页的steam游戏优惠的界面都会被requests请求一遍,并查找指定的元素,也就是存放游戏名的元素 接下来把游戏名抓取下来
for content in contents:
name = content.find("span",class_="title").string.strip()
print(name)
运行一下
成功,右边,游戏名出来了,接下来把名字都保存成txt
要注意的是,有的游戏名很奇怪,有特殊符号,写不进去,那么就会报错,所以,添加一个异常处理就好了
下面贴出完整代码
爬虫的主要问题,基本就是字符串的编码问题,现在整理出来的,最好的方法应该就是直接把url编码的当作正常内容输入就好了
后台回复steam优惠爬虫即可获取下载链接,嘻嘻