240 发简信
IP属地:广东
  • sqoop定时增量导入mysql数据到hdfs(hive)

    需求 有2张大的mysql表,量级分别是1亿和4.5亿(太大了,DBA的同学正在考虑分表),而且数据是增量的,需要写spark任务做处理,直接读取mysql有点吃力,想通过s...

  • 120
    轻量级BI工具Superset的搭建与使用

    系统环境:Windows 10Python:3.6.6Superset:0.27.0 0 Superset 简介   Superset 是一款由 Airbnb 开源的“现代化...

  • 120
    震惊了!原来这才是kafka!

    [TOC] 简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解...