Hadoop&spark

简介

hadoop 和 spark是两种大数据框架。hadoop提供了分布式文件系统hdfs进行数据存储和管理,在这个基础上,提供了mapreduce的数据处理框架进行数据处理;spark是一种专门用来分析处理分布式存储的大数据的工具,不提供数据存储功能,它可以运行在hdfs上或者其它的分布式文件系统上。在数据处理的能力上,spark的数据处理速度比mapreduce快的多,前者是一种流式数据处理工具,具有实时/准实时的数据处理能力,后者通常用于批量的处理分布式存储的大数据。

spark环境搭建资料http://blog.csdn.net/aaronhadoop/article/details/37757639

hadoop环境搭建

http://my.oschina.net/jackieyeah/blog/657750

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容