1.Spark前言

Spark

比MapReduce更快速

MapReduce是基于磁盘IO的,无论过程还是结果都要写入磁盘,并且无法迭代。而Spark只是在第一次运行时需要磁盘IO,之后的迭代都是基于内存的,所以速度更快。

Logistic regression in Hadoop and Spark

Spark核心组件

Spark的核心组件有:

  • Spark SQL
  • Spark Streaming
  • MLlib(machine learning)
  • GraphX
Spark核心组件
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容