spark初步

实例1

var text = sc.parallelize(Seq("a","b","c","a","b","b"))

text.filter(_.contains("a")).count

var wc = text.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,b)=>a+b)

wc.collect

val text = sc.textFile("/data/sofoware/unpacks/spark-1.6.2-bin-hadoop2.6/README.md")

text.filter(line=>line.contains("Apache Spark")).count

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容