爬虫架构|利用Kafka处理数据推送问题（3）架构图
一、需求
1、对于所有任务产生的实时数据，通过Kafka及时推送。 2、对于新加任务需要去历史全量数据表中获取该任务已有的历史数据。 3、爬虫集群在生产数据时需要去全量数据中进行下匹配，如果不存在才会推送给Kafka。
二、架构设计图
Kafka+MySQL架构设计
三、结语
欢迎相关人员一起交流。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018.04.26 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL（TencentDB for MySQL）为用户提供安全可靠，性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性，包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL，可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理，不仅经济实惠，而且稳定可靠，易于运维。