python3 爬“斗图啦”
接触了一个多月的python，终于可以小小露一手了。手法之拙略就不得不恭维了，哈哈，
环境win7系统，Python3.6，Pycharm2017社区版，还有Google浏览器（官网均可下载）
http://www.doutula.com
需要的模块requests, lxml, BeautifulSoup,
import requests
import lxml
from bs4 import BeautifulSoup说明一下，下载很多网站都有了反爬机制，所以道高一尺，魔高一丈了，我们模拟浏览器去访问网站，
也就是获得
User-Agent:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36
方法：随便打开网页 F12 --Network --F5 --Headers -- User-Agent
wKiom1kIV-GDRLO5AAEz-pEq79w918.jpg-wh_50
代码来了
start_url = "http://www.doutula.com/arcticle/list/?page=1"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}
start_html = requests.get(url=url, headers=headers).content
#print(start_html)
soup = BeautifulSoup(start_html,'lxml') ##lxml 解析网页的
all_a = soup.find_all('a',attrs={'class':'list-group-item'})
for a in all_a:
#title = a.h4.get_text()
url = a['href']
#print(title,url)
wKiom1kIWwiiQbQCAAHKLlf3tHA893.png-wh_50
每一套“斗图”对应一个 a 标签，所以直接find_all('a',attrs={'class':'list-group-item'})，谢谢站长布局如此规律。
注意这是上面代码的继续，所以注意 缩进
img_html = requests.get(url,headers=header).text
img_soup = lxml.etree.HTML(img_html) ##打印源码，自动修正html
img_items = img_soup.xpath('//div[@class="artile_des"]')
for item in img_items:
imgurl_list = item.xpath('table/tbody/tr/td/a/img/@src')[0] ##[0]取list的第一个元素
print("正在下载"+imgurl_list)
imgcontent = requests.get(imgurl_list).content ##换成text会报错no 'str'
with open('doutu/%s' % imgurl_list.split('/')[-1],'wb') as f: ##doutu是文件夹，需要自己提前创建
f.write(imgcontent)
wKiom1kKdDTRamEkAACylVKiubw823.jpg-wh_50
然后就有你要的图了，一个一个，据说还可以多线程下载，当然需要另一个模块（threading）了的，
下次见
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-09-27 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读