php与hadoop

应用场景:

1 计数和统计
2 整理
3 过滤
4 排序 

1、Hadoop安装
2、映射器(Mapper)
映射器的任务是将输入转换成一系列的键值对。比如在字计数器的情况下,输入是一系列的行。我们按单词将它们分开,把它们变成键值对(如key:word,value:1),看起来像这样:

the       1
water    1
on        1
on        1
water    1
on        1
...         1

3、reducer

reducer的任务是检索(排序)对,迭代并转换为所需输出。 在单词计数器的例子中,取单词数(值),并将它们相加得到一个单词(键)及其最终计数。如下:

water 2
the   1
on    3

4、基于单词计数器的理解:

hadoop jar /usr/hadoop/2.5.1/libexec/lib/hadoop-streaming-2.5.1.jar \
 -mapper "./mapper.php"//将数据处理成键值对
  -reducer "./reducer.php"//将键值对归类
 -input "hello/mobydick.txt"//将数据写入文件
 -output "hello/result"//输出统计结果写入文件
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Had...
    SeanC52111阅读 1,774评论 0 1
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,027评论 19 139
  • 思考问题 MapReduce总结 MapReduce MapReduce的定义MapReduce是一种编程模型, ...
    Sakura_P阅读 966评论 0 1
  • Hadoop简介 Hadoop是谷歌以2004年发表的一篇关于MapReduce的论文作为基础开发的,就自身来讲,...
    Sqlver阅读 1,397评论 0 2
  • 文/小漂 最近几天,我们村周围都在讨论着一件事——一辆宝马车翻进路边水沟里,车里两个男生都死了。 为什么大家都在讨...
    小太阳漂漂漂阅读 879评论 4 5