专栏首页python学习教程python爬取虎牙直播颜值区美女主播照片

python爬取虎牙直播颜值区美女主播照片

一、前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

二、基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel

相关模块pip安装即可

三、确定网址

直接打开浏览器,搜索虎牙就出来了。

https://www.huya.com/g/2168

然后按F12打开你浏览器的开发者工具,找到以下数据。

四、请求网页

import requests

url = 'https://www.huya.com/g/2168'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
print(repsonse.text)

五、解析网页数据

import parsel
selector = parsel.Selector(response.text)
urls = selector.css('.live-list .game-live-item a img::attr(data-original)').getall()
titles = selector.css('.live-list .game-live-item a img::attr(title)').getall()
info_data = zip(urls, titles)
for i in info_data:
    img_url = i[0].split('?')[0]
    title = i[1]

保存数据

img_url_response = requests.get(url=img_url, headers=headers)
path = 'D:\\python\\demo\\虎牙\\img\\' + title + '.jpg'
with open(path, mode='wb') as f:
   f.write(img_url_response.content)
   print(title)

六、实现效果

你喜欢哪位漂亮女主播?

end

本文分享自微信公众号 - python教程(pythonjc),作者:小雨

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ​Python程序员因为和女朋友斗图斗输了,一怒之下爬取了网站30页表情包

    *声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

    python学习教程
  • 干货|如何入门 Python 爬虫?爬虫原理及过程详解

    Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取...

    python学习教程
  • Python爬虫学习 煎蛋网全站妹子图爬虫

    通过上一篇文章的爬取过程,我们基本上理解了抓取一个网站的大致流程。因为一个网站虽然有很多页,但是大部分网站每一页的HTML标签内容都是相同的。我们只要获取到一页...

    python学习教程
  • 基于Scrapy的东方财富网爬虫

    标题中的英文首字母大写比较规范,但在python实际使用中均为小写。 2018年9月6日笔记 IDE(Intergrated development Env...

    潇洒坤
  • Java企业微信开发_02_通讯录同步

           登录企业微信—>管理工具—>通讯录同步助手—>开启“API接口同步”  ; 开启后,即可看到通讯录密钥,也可设置通讯录API的权限:读取或者编辑通...

    shirayner
  • JQuery实现AJAX异步提交

    爱撒谎的男孩
  • Python资源爬取-源码

    这个整合资源的网站,因不知名的原因所以可能也许是暂时的关闭了一下,所以想着把写的python代码公布出来也没啥关系(虽然本来也就没什么关系),当然写的比较垃圾,...

    Elapse
  • 那些年应该相识的线程安全集合们

    上篇推文介绍了List的三种实现其实都不是线程安全的,文章结尾也回答了如何创建线程安全的List,答案是:Collections.synchron...

    程序员小强
  • Hexo搭建 --- 2、Hexo主题安装与配置

    一份执着✘
  • UAF你懂吗?

    UAF漏洞的成因是一块堆内存被释放了之后又被使用。又被使用指的是:指针存在(悬垂指针被引用)。这个引用的结果是不可预测的,因为不知道会发生什么。由于大多数的堆内...

    随心助手

扫码关注云+社区

领取腾讯云代金券