(02)MapReduce与Spark的异同和优势比较

MapReduce与Spark相比,有哪些异同点

    1、基本原理上:

        a) MapReduce:基于磁盘的大数据批量处理系统。

        b) Spark:基于RDD(Resilient Distributed Datasets,弹性分布式数据集)数据处理,显式的将RDD数据存储到磁盘和内存中。

   2、模型上:

        a) MapReduce:可以处理超大规模的数据,适合日志分析挖掘等较少的迭代的长任务需求;结合了数据的分布式的计算。

        b) Spark:适合数据的挖掘,机器学习等多轮迭代式计算任务。

    3、容错性上:

        a) 数据容错性

        b) 节点容错性

        Spark Lineage,在数据发生丢失时,可以从Lineage上重构数据结构。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容