开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >小爬虫之腾讯招聘网自动翻页采集1.技术路线2.任务3.分析4.运行结果5.源码

小爬虫之腾讯招聘网自动翻页采集1.技术路线2.任务3.分析4.运行结果5.源码

JasonhavenDai

发布于 2018-04-11 14:21:38

8300

发布于 2018-04-11 14:21:38

举报

文章被收录于专栏：JasonhavenDai

1.技术路线

python 3.6.0
scrapy 1.4.0

2.任务

爬取腾讯招聘网站的自动翻页的数据采集

3.分析

注意

URL组成 https://hr.tencent.com/position.php?lid=2156&tid=87&keywords=自然语言处理start=0
其中： lid=2156 代表地点在北京 tid=87 代表方向为技术类 keywords 代表搜索职位 start 代表当前页面第一条数据的序号
爬取目标 1.职位名称 2.职位类别 3.职位人数 4.职位地点 5.发布时间 6.职位详情

4.运行结果

5.源码

GitHub
欢迎Fork，一起讨论学习

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018.01.29 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

1.技术路线
2.任务
3.分析
4.运行结果
5.源码

相关产品与服务

NLP 服务

NLP 服务（Natural Language Process，NLP）深度整合了腾讯内部的 NLP 技术，提供多项智能文本处理和文本生成能力，包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。

产品介绍产品文档

精选特惠用云无忧