awesome_crawl(一):腾讯新闻

、项目地址:https://github.com/zhangslob/awesome_crawl

awesome_crawl(优美的爬虫)

1、腾讯新闻的全站爬虫

采集策略

从网站地图出发,找出所有子分类,从每个子分类中再寻找详情页面的链接。

首先寻找每条新闻的ID,然后移动端采集具体内容。

再去找一些推荐新闻的接口,做一个“泛爬虫”。

说明

整套系统中分为两部分,一套是生产者,专门去采集qq新闻的链接,然后存放到redis中,一套是消费者,从redis中读取这些链接,解析详情数据。 所有配置文件都是爬虫中的custom_settings中,可以自定义。

如果需要设置代理,请在middlewares.ProxyMiddleware中设置。

qq_list: 这个爬虫是生产者。运行之后,在你的redis服务器中会出现qq_detail:start_urls,即种子链接

qq_detail: 这个爬虫是生消费者,运行之后会消费redis里面的数据,如下图:

你可以自行添加更多爬虫去采集种子链接,如从首页进入匹配,从推荐入口:

import requests

url = "https://pacaio.match.qq.com/xw/recommend"

querystring = {"num":"10^","callback":"__jp0"}

headers = {
    'accept-encoding': "gzip, deflate, br",
    'accept-language': "zh-CN,zh;q=0.9,en;q=0.8",
    'user-agent': "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
    'accept': "*/*",
    'referer': "https://xw.qq.com/m/recommend/",
    'authority': "pacaio.match.qq.com",
    'cache-control': "no-cache",
    }

response = requests.request("GET", url, headers=headers, params=querystring)

print(response.text)

等等,你所需要做的仅仅是把这些抓到的种子链接塞到redis里面,也就是启用qq_news.pipelines.RedisStartUrlsPipeline这个中间件。

TODO

  1. 增加更多新闻链接的匹配,从推荐接口处获得更多种子链接
  2. 增加“泛爬虫”,采集种子链接
  3. 数据库字段检验
  4. redis中数据为空爬虫自动关闭(目前redis数据被消费完之后爬虫并不会自动关闭,如下图)

原文发布于微信公众号 - Python爬虫与算法进阶(zhangslob)

原文发表时间:2018-05-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java后端技术栈

微服务设计我们需要考虑哪些要点?

作者:刘超,毕业于上海交通大学,15年云计算领域研发及架构经验,先后在EMC,CCTV证券资讯频道,HP,华为,网易从事云计算和大数据架构工作。

15520
来自专栏idba

如何解决热点数据更新问题

一 背景 某个业务线商品开放用户申请免费试用,当某个商品特别吸引人时,比如iPhone6 。肯定有一大波人为了少卖一个肾而疯狂去抢申请资格。更有甚者利...

13300
来自专栏Python爬虫实战

Python爬虫:十几行代码下载王者荣耀所有皮肤

之前接触过爬虫还是几年前爬取豆瓣电台的歌曲,那时候用的C++,json解析还要用第三方库,总之很麻烦。最近接触到了python,深深的感觉这门语言真好。

42890
来自专栏Web项目聚集地

设计一个秒杀系统

最近在部门内部分享了原来在电商业务做秒杀活动的整体思路,大家对这次分享反馈还不错,所以我就简单整理了一下,分享给大家参考参考

16820
来自专栏Linyb极客之路

秒杀架构设计

最近在部门内部分享了原来在电商业务做秒杀活动的整体思路,大家对这次分享反馈还不错,所以我就简单整理了一下,分享给大家参考参考

22210
来自专栏令仔很忙

知识扩展----404错误页面那些事

     对这个东西,貌似有点印象,之前浏览网页的时候,也是经常出现的事,只不过弹出的页面不同罢了。举个例子:

9410
来自专栏WindCoder

网易MySQL微专业学习笔记(十二)-MySQL容量评估

这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。

14410
来自专栏hotqin888的专栏

用engineeercms实现企业实时文档协作

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

17830
来自专栏Rainbond开源「容器云平台」

云帮社区版5月升级,全面支持后端服务高可用,修复了若干Bug

14830
来自专栏Linyb极客之路

分布式系统的弹性设计

在讨论分布式系统的弹性之前,让我们快速回顾一些基本术语: 弹性Resiliency:任何系统从困难中恢复的能力,(banq注:弹性也就是适应能力)。 分布式系统...

22540

扫码关注云+社区

领取腾讯云代金券