MapReduce

DigtialOcean(远程服务器) + Docker 取代 AWS

原因

  1. docker是一个轻量级容器,比较容易上手,不需要自己配置环境,所有用docker的环境一样,遇到问题也一样,节省开发效率
  2. 价格便宜

Docker

  1. 容器 a container
  2. (如果手动本地安装 hadoop 需要下载很多 hadoop 文件,把云端 hadoop 环境装到本机,修改配置,解决报错,别人如果安装还需要重复这项工作) docker 作为一个工具把整个 hadoop 环境装到一个小黑箱里,放到云端,所有人都能用
  3. 容器具有轻量级特性,和虚拟机的区别,虚拟机自带操作系统,容器需要用户提供操作系统

MapReduce 中如果不修改参数,默认key 和 value 之间通过一个 /t 来分割,Mapper 读取的 key 是当前读取行在文件中的 offset,默认情况下 value 是读取的每一行
context 是 MapReduce 和外界交流的工具,帮助完成读写工作
MapReduce 写出 string 就 new Text(),写出整数就 new IntWritable()

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容