爬虫架构|利用Kafka处理数据推送问题（3）架构图

一、需求

1、对于所有任务产生的实时数据，通过Kafka及时推送。
2、对于新加任务需要去历史全量数据表中获取该任务已有的历史数据。
3、爬虫集群在生产数据时需要去全量数据中进行下匹配，如果不存在才会推送给Kafka。

二、架构设计图

Kafka+MySQL架构设计

三、结语

欢迎相关人员一起交流。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容