新手学Python爬虫，爬取拉勾网
新手学Python爬虫，爬取拉勾网
python学习教程
发布于 2019-07-10 14:46:46
发布于 2019-07-10 14:46:46
点击蓝字“python教程”关注我们哟！
一、思路分析：
在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问：
对于拉勾网，我们要找到职位信息的ajax接口倒是不难（如下图），问题是怎么不得到上面的结果。
要想我们的爬虫不被检测出来，我们可以使用代理IP，而网上有很多提供免费代理的网站，比如西刺代理、快代理、89免费代理等等，我们可以爬取一些免费的代理然后搭建我们的代理池，使用的时候直接从里面进行调用就好了。然后通过观察可以发现，拉勾网最多显示30页职位信息，一页显示15条，也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段，而这个字段表示的就是查询结果的数量，获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果，保存在MongoDB数据库中。
二、主要代码：
proxies.py（爬取免费代理并验证其可用性，然后生成代理池）
import requests
import re
class Proxies:
def __init__(self):
self.proxy_list = []
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/45.0.2454.101 Safari/537.36",
'Accept-Encoding': 'gzip, deflate, sdch',
}
# 爬取西刺代理的国内高匿代理
def get_proxy_nn(self):
proxy_list = []
res = requests.get("http://www.xicidaili.com/nn", headers=self.headers)
ip_list = re.findall('<td>(\d+\.\d+\.\d+\.\d+)</td>', res.text)
port_list = re.findall('<td>(\d+)</td>', res.text)
for ip, port in zip(ip_list, port_list):
proxy_list.append(ip + ":" + port)
return proxy_list
# 验证代理是否能用
def verify_proxy(self, proxy_list):
for proxy in proxy_list:
proxies = {
"http": proxy
}
try:
if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200:
print('success %s' % proxy)
if proxy not in self.proxy_list:
self.proxy_list.append(proxy)
except:
print('fail %s' % proxy)
# 保存到proxies.txt里
def save_proxy(self):
# 验证代理池中的IP是否可用
print("开始清洗代理池...")
with open("proxies.txt", 'r', encoding="utf-8") as f:
txt = f.read()
# 判断代理池是否为空
if txt != '':
self.verify_proxy(txt.strip().split('\n'))
else:
print("代理池为空！\n")
print("开始存入代理池...")
# 把可用的代理添加到代理池中
with open("proxies.txt", 'w', encoding="utf-8") as f:
for proxy in self.proxy_list:
f.write(proxy + "\n")
if __name__ == '__main__':
p = Proxies()
results = p.get_proxy_nn()
print("爬取到的代理数量", len(results))
print("开始验证：")
p.verify_proxy(results)
print("验证完毕：")
print("可用代理数量：", len(p.proxy_list))
p.save_proxy()在middlewares.py中添加如下代码：
class LaGouProxyMiddleWare(object):
def process_request(self, request, spider):
import random
import requests
with open("具体路径\proxies.txt", 'r', encoding="utf-8") as f:
txt = f.read()
proxy = ""
flag = 0
for i in range(10):
proxy = random.choice(txt.split('\n'))
proxies = {
"http": proxy
}
if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200:
flag = 1
break
if proxy != "" and flag:
print("Request proxy is {}".format(proxy))
request.meta["proxy"] = "http://" + proxy
else:
print("没有可用的IP！")然后还要在settings.py中添加如下代码，这样就能使用代理IP了：
1 SPIDER_MIDDLEWARES = {
2 'LaGou.middlewares.LaGouProxyMiddleWare': 543,
3 }在item.py中添加如下代码：
import scrapy
class LaGouItem(scrapy.Item):
city = scrapy.Field() # 城市
salary = scrapy.Field() # 薪水
position = scrapy.Field() # 职位
education = scrapy.Field() # 学历要求
company_name = scrapy.Field() # 公司名称
company_size = scrapy.Field() # 公司规模
finance_stage = scrapy.Field() # 融资阶段在pipeline.py中添加如下代码：
import pymongo
class LaGouPipeline(object):
def __init__(self):
conn = pymongo.MongoClient(host="127.0.0.1", port=27017)
self.col = conn['Spider'].LaGou
def process_item(self, item, spider):
self.col.insert(dict(item))
return item在spiders文件夹下新建一个spider.py，代码如下：
import json
import scrapy
import codecs
import requests
from time import sleep
from LaGou.items import LaGouItem
class LaGouSpider(scrapy.Spider):
name = "LaGouSpider"
def start_requests(self):
# city = input("请输入城市：")
# position = input("请输入职位方向：")
city = "上海"
position = "python"
url = "https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}".format(city)
headers = {
"Referer": "https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=".format(codecs.encode(position, 'utf-8'), codecs.encode(city, 'utf-8')),
"Cookie": "_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
}
data = {
"first": "true",
"pn": 1,
"kd": position
}
res = requests.post(url, headers=headers, data=data)
# 获取相关职位结果数目
count = res.json()['content']['positionResult']['totalCount']
# 由于最多显示30页，也就是最多显示450条职位信息
page_count = count // 15 + 1 if count <= 450 else 30
for i in range(page_count):
sleep(5)
yield scrapy.FormRequest(
url=url,
formdata={
"first": "true",
"pn": str(i + 1),
"kd": position
},
callback=self.parse
)
def parse(self, response):
try:
# 解码并转成json格式
js = json.loads(response.body.decode('utf-8'))
result = js['content']['positionResult']['result']
item = LaGouItem()
for i in result:
item['city'] = i['city']
item['salary'] = i['salary']
item['position'] = i['positionName']
item['education'] = i['education']
item['company_name'] = i['companyFullName']
item['company_size'] = i['companySize']
item['finance_stage'] = i['financeStage']
yield item
except:
print(response.body)三、运行结果：
由于使用的是免费代理，短时间内就失效了，所以会碰上爬取不到数据的情况，所以推荐使用付费代理。
注意事项
01
对Python开发技术感兴趣的同学，欢迎加下方的交流群一起学习，相互讨论。
02
学习python过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun：934109170，与你分享Python企业当下人才需求及怎么从零基础学习Python，和学习什么内容。相关学习视频资料、开发工具都有分享
好啦！文章就给看官们分享到这儿
最后，如果觉得有帮助，记得关注、转发、收藏哟
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-06-29，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB（TencentDB for MongoDB）是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库，100%完全兼容 MongoDB 协议，支持跨文档事务，提供稳定丰富的监控管理，弹性可扩展、自动容灾，适用于文档型数据库场景，您无需自建灾备体系及控制管理系统。