240 发简信
IP属地:吉林
  • storm 学习(三)与 spark streaming 比较

    一、按点对比 二、编程实现对比 Storm初次是由Clojure实现,后有Java和Python。而 Spark Streaming是使用Sca...

  • storm 学习(二)与 hadoop比较

    一、问题 1.hadoop、Storm各是什么运算?2.Storm为什么被称之为流式计算系统?3.hadoop适合什么场景,什么情况下使用had...

  • Resize,w 360,h 240
    storm 学习(一)介绍

    一、Storm是什么 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理...

  • Resize,w 360,h 240
    kafka 基础知识整理(三)kafka + spark streaming

    Kafka为一个分布式的消息队列,spark流操作kafka有两种方式:一种是利用接收器(receiver)和kafaka的高层API实现。一种...

  • Resize,w 360,h 240
    kafka 基础知识整理(二)集群部署示例

    1、准备好kafka安装包,unzip xxx.zip 解压。 4、三台机器都修改好zookeeper.properties文件和创建好myid...

  • Resize,w 360,h 240
    kafka 基础知识整理(一)- 概述

    一、背景介绍 Kafka是一种高吞吐量的,分布式,快速、可扩展的,分区和可复制,基于发布/订阅模式的消息系统,由Linkedin开发,之后成为A...

  • spark 基础知识整理(四)- spark streaming专题

    一、概述 Spark Streaming是基于Core Spark API的可扩展,高吞吐量,并具有容错能力的用于处理实时数据流的一个组件。Sp...

  • Resize,w 360,h 240
    spark 基础知识整理(三)- spark SQL专题

    一、简介 Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同,Spark SQL的接口提供了更多关于数...

  • Resize,w 360,h 240
    spark 基础知识整理(二)- RDD专题

    一、RDD及其特点 **1. **RDD(Resillient Distributed Dataset)弹性分布式数据集,是spark提供的核心...