问题描述 1.问题定位 最近需要利用flume采集神策的历史数据，数据量比较大，每天大概有2000万条数据，大概要采集一个月的。然后发现数据还没来得及消费就被删除了， 2.问...
发简信
IP属地：广东
-
Kafka删除日志源码分析
-
对Spark的那些【魔改】
前言 这两年做streamingpro时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行...
-
《从零开始读懂金融学》第2章笔记
第2章 股票市场 股票市场是股票按时价进行转让、买卖和流通的市场。股票流通市场上的价格是反映经济动向的晴雨表，它能灵敏地反映出资金供求状况、市场供求、行业前景和政治形势的变化...
-
Spark之没什么卵用笔记2 SQL解析前基础（后续完善）
开始前废话 因为以前只接触过RDD编程，对DataFrame与Dataset不怎么了解。仅知道Spark Sql是基于DataFrame与Dataset实现的。之前在看Str...
-
Spark之没什么卵用笔记1之Spark SQL背景
前段时间买的《Spark SQL内核剖析》,这两天开始读，记些笔。笔记内容纯属本人YY，如有错误与书的作者无关。 因为没接触过Shark，因此这里就简单带过一下Spa...
-
-
一本据说是大多数人都看不懂的书——《百年孤独》文/怀左同学 “在无法穿越的孤独中，她获得了非凡的洞察力。”这句话讲的是乌尔苏拉，说到她在晚年历经沧桑的情况下，突然看懂了之前的很多事情。我读这本书的过程，大概也有这样的感受...
-
kafka中partition和消费者对应关系1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果 消费者多于partition topic： test 只有一个partiti...
