大数据开发基础上学习笔记

1.hadoop2环境搭建

下载了Hadoop2.5.2,在Ubuntu16.04下安装,按照视频的步骤配置好hadoop开发环境。

成功启动:

在浏览器中可以看到hdfs和yarn运行状况

2.学习hadoop2中的hdfs和yarn

hadoop2和之前学习的Hadoop1主要区别在于增加了yarn组件,不仅可以支持mapreduce,还可以支持其他的数据处理工具。与hadoop1中jobtracker不同的是yarn中的resourcemanager只负责资源的分配。

视频里的hadoop-eclipse插件,非常好用,可以直接建立mapreduce项目而不用手动导入classpath,还可以在eclipse中显示hdfs,并在hadoop中运行程序

3.MapReduce

这里用到的mapreduce程序的编写和之前学习过的hadoop1中基本相同,就不再赘述了。

1.hadoop2环境搭建

下载了Hadoop2.5.2,在Ubuntu16.04下安装,按照视频的步骤配置好hadoop开发环境。

成功启动:

在浏览器中可以看到hdfs和yarn运行状况

2.学习hadoop2中的hdfs和yarn

hadoop2和之前学习的Hadoop1主要区别在于增加了yarn组件,不仅可以支持mapreduce,还可以支持其他的数据处理工具。与hadoop1中jobtracker不同的是yarn中的resourcemanager只负责资源的分配。

视频里的hadoop-eclipse插件,非常好用,可以直接建立mapreduce项目而不用手动导入classpath,还可以在eclipse中显示hdfs,并在hadoop中运行程序

3.MapReduce

这里用到的mapreduce程序的编写和之前学习过的hadoop1中基本相同,就不再赘述了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容