Python最简单的图片爬虫，20行代码带你爬遍整个网站
Python最简单的图片爬虫，20行代码带你爬遍整个网站
松鼠爱吃饼干
发布于 2020-09-15 15:49:11
发布于 2020-09-15 15:49:11
前言
网络上的信息很多，有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图，零基础学会通用爬虫，当然我们还可以实现多线程爬虫，加快爬虫爬取速度
我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。
知识点：
认识和了解爬虫、爬虫思路、urllib.parse、jsonpath库
环境：
windows、pycharm、python3
第三方库：
requests、jsonpath
导入模块
import urllib.parse
import json
import requests
import jsonpath确定目标网址
url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'分析网站，确定爬取目标
label = '美女'
label = urllib.parse.quote(label)发送请求，提取数据
num = 0
for index in range(0,2400,24):
u = url.format(label,index)
we_data = requests.get(u).text类型转换
html = json.loads(we_data)
photo = jsonpath.jsonpath(html,"$..path")保存数据
for i in photo:
a = requests.get(i)
with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f:
f.write(a.content) # 二进制
num += 1运行代码，效果如下图：
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2020-06-30，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读