爬虫系列突然有点不想更新了,俗话说,“爬虫学得好,牢饭吃到饱”,前几天接触到了一个收费的爬虫项目,最后还是拒绝了,通过爬虫来挣钱,是一个危险的活儿,害怕有一天突然触及到这个底线,不过想想我也没有用这个挣钱呀,不知道我的读者中有没有了解行情的。
浙附一官网 http://www.zy91.com/index/index.jhtml
import requests
import parsel
import csv
with open ('./python/爬取穷游网/zheda.csv',mode='a',encoding='utf-8',newline='') as f:
for page in range(1,113):
# 请求
url = "http://www.zy91.com/zjxq/index_{}.jhtml".format(str(page))
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'}
resp = requests.get(url=url,headers=headers)
html_data=resp.text
# 数据解析
# 转换数据类型
selector = parsel.Selector(html_data)
divs=selector.xpath('//div[@class="main"]/div')
for li in divs[2:8]:
name=li.xpath('.//div[@class="color"]/text()').get()
keshi_all=li.xpath('.//div[@class="title2"]/span/text()').getall()
# 保存
csv_writer=csv.writer(f)
csv_writer.writerow([name,keshi_all])
关于爬虫犯罪其实有点言过其实,只是最近经历的事儿突然发现,要找你事儿,真的很容易,真是烦。