20行代码爬取浙大附一现有专家
20行代码爬取浙大附一现有专家
概述
爬虫系列突然有点不想更新了，俗话说，“爬虫学得好，牢饭吃到饱”，前几天接触到了一个收费的爬虫项目，最后还是拒绝了，通过爬虫来挣钱，是一个危险的活儿，害怕有一天突然触及到这个底线，不过想想我也没有用这个挣钱呀，不知道我的读者中有没有了解行情的。
目标网址
浙附一官网 http://www.zy91.com/index/index.jhtml
代码
import requests
import parsel
import csv
with open ('./python/爬取穷游网/zheda.csv',mode='a',encoding='utf-8',newline='') as f:
for page in range(1,113):
# 请求
url = "http://www.zy91.com/zjxq/index_{}.jhtml".format(str(page))
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'}
resp = requests.get(url=url,headers=headers)
html_data=resp.text
# 数据解析
# 转换数据类型
selector = parsel.Selector(html_data)
divs=selector.xpath('//div[@class="main"]/div')
for li in divs[2:8]:
name=li.xpath('.//div[@class="color"]/text()').get()
keshi_all=li.xpath('.//div[@class="title2"]/span/text()').getall()
# 保存
csv_writer=csv.writer(f)
csv_writer.writerow([name,keshi_all])结果
结束语
关于爬虫犯罪其实有点言过其实，只是最近经历的事儿突然发现，要找你事儿，真的很容易，真是烦。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-10-21，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录