问题描述 1.问题定位 最近需要利用flume采集神策的历史数据，数据量比较大，每天大概有2000万条数据，大概要采集一个月的。然后发现数据还没来得及消费就被删除了， 2.问...
发简信
IP属地：广东
-
Kafka删除日志源码分析
-
对Spark的那些【魔改】
前言 这两年做streamingpro时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行...
-
一本据说是大多数人都看不懂的书——《百年孤独》文/怀左同学 “在无法穿越的孤独中，她获得了非凡的洞察力。”这句话讲的是乌尔苏拉，说到她在晚年历经沧桑的情况下，突然看懂了之前的很多事情。我读这本书的过程，大概也有这样的感受...
-
kafka中partition和消费者对应关系1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果 消费者多于partition topic： test 只有一个partiti...
