240 发简信
IP属地:北京
  • Resize,w 360,h 240
    Spark消费Kafka如何实现精准一次性消费?

    1.定义 精确一次消费(Exactly-once) 是指消息一定会被处理且只会被处理一次。不多不少就一次处理。 如果达不到精确一次消费,可能会达...

  • Resize,w 360,h 240
    数据仓库与数仓建模

    1.数据仓库 1.1 什么是数据仓库 数据仓库,英文名为Data Warehouse,简写为DW或DWH。数据仓库,是一个面向主题的、集成的、随...

  • Resize,w 360,h 240
    大数据开发必读书目(持续更新)

    1.Hadoop Hadoop大数据开发案例教程与项目实战.pdf Hadoop技术内幕 深入解析YARN架构设计与实现原理.pdf Hadoo...

  • Resize,w 360,h 240
    深入理解Spark远程通信组件RPC及消息处理机制

    1.简介 在Spark中,不同组件像driver,executor,worker,master(stanalone模式)之间的通信是基于RPC来...

  • Resize,w 360,h 240
    HDFS读写数据流程

    HDFS中的block、packet、chunk Block这个大家应该知道,文件上传前需要分块,这个块就是block,一般为128MB。 pa...

个人介绍
遥看青云上,鄙人王道长!带你走进大数据的魔幻世界!