在做报表数据统计时,我们用的是mysql + kafka + Spark Streaming方案,kafka监听mysql订单表中订单状态,然后发送到spark stream...
IP属地:福建
在做报表数据统计时,我们用的是mysql + kafka + Spark Streaming方案,kafka监听mysql订单表中订单状态,然后发送到spark stream...
本文是先介绍 Flink,再说 Flink的过去和现在 一、Flink介绍 Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来...
1. 日志文件加载案例: 需求描述:在日志文件目录中,按天建文件夹,并且在每个天文件夹中,每小时有一个日志文件。程序自动每天将这些文件load到hive表对应的天分区的小时分...
最近在How一直想建立起非常专业的data pipeline系统,然后没有很多时间,这几个礼拜正好app上线,有时间开始建立自己的 data pipeline,能够很好的做每...