首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python爬虫---实现项目(三) Selenium分析美团美食

python爬虫---实现项目(三) Selenium分析美团美食

作者头像
小菜的不能再菜
修改2019-10-09 09:24:48
9790
修改2019-10-09 09:24:48
举报
文章被收录于专栏:java_pythonjava_pythonjava_python

  上一期博客,我本来想爬取美团美食的,但是由于请求头太复杂,没有破解开其中的几个参数,所以放弃,这次我们来用selenium来模式浏览器抓取数据,我们先来简单看一下流程:

  1,利用selenium驱动浏览器,得到美食列表

  2,分析网页,并给予翻页后续的美食列表

  3,分析提取数据(pyQuery)

项目一:美团美食

项目地址:https://gitee.com/dwyui/pyQuery_selenium.git

由于美团反扒严重,只爬取到部分数据,可以尝试修改间隔时间来多次尝试。

也可以自己尝试使用PhantomJS来爬取数据,和原来的代码几乎一致.

最近搞了一个个人公众号,会每天更新一篇原创博文,java,python,自然语言处理相关的知识有兴趣的小伙伴可以关注一下。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-06-02 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档