一、什么是Hadoop?它包含哪些模块?
① Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构;
②主要解决,海量数据的存储和海量数据的分析计算问题。
③广义上来说,HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈
hadoop包括四个模块:
Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。
Hadoop MapReduce:一个分布式的离线并行计算框架。
Hadoop YARN:作业调度与集群资源管理的框架。(相当于集群操作系统)
Hadoop Common:支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)
二、Hadoop本地模式和伪分布模式有何区别?
①hadoop本地模式中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。
②hadoop伪分布模式:伪分布式(Pseudo)适用于开发和测试环境,等同于完全分布式,只有一个节点。在这个模式中,所有守护进程都在同一台机器上运行。但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。
三、什么是Linux的克隆?什么是快照?克隆一台Linux需要修改哪些内容?
克隆:重新建一个虚拟机与原虚拟机完全相同。
快照:保存当前虚拟机的当前状态,为以后的还原提供一个节点,可以将虚拟机还原到建立快照的时间点上。
克隆后需要修改:
1、修改主机名 vi /etc/sysconfig/network
2、修改网卡: vim /etc/udev/rules.d/70-persistent-net.rules //删0,改1为0
3、修改ip: vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR= 网卡中mac地址
IPADDR=实际ip
GATEWAY=192.168.x.2
ONBOOT=yes
BOOTPROTO=static //BOOTPROTO=none
DNS1=192.168.1.2//114.114.114.114//8.8.8.8
四、Hadoop全分布模式操作步骤
最全hadoop架构总结
还有 91% 的精彩内容
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
支付 ¥1.01 继续阅读
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 写在前面 我自己一直比较喜欢大数据这个方向的工作,虽然自己也在大数据相关的岗位上工作了小两年,但一直没有系统的学习...
- 为什么要有Hadoop? 从计算机诞生到现今,积累了海量的数据,这些海量的数据有结构化、半结构化、非 结构的数据...