1.主从架构 resourcemanager rm nodemanager nm reduce task 可能等到所有的map task跑完，才开始计算； 也有可能map...
发简信
IP属地：云南
-
2019-02-17 MR_ON_YARN架构及执行流程
-
2019-02-16 Hadoop读写流程
1.hdfs 写流程 对用户是无感知 1.1 hdfs client调用FileSystem.create(filePath)方法，去和NN进行【RPC】通信。 NN会去检查...
-
2019-02-15 Hadoop架构设计&副本放置策略&基础命令1.HDFS架构设计及副本放置策略 HDFS主要由3个组件构成，分别是NameNode、SecondaryNameNode和DataNode，HSFS是以master/sla...
-
2019-02-08 Hadoop最详细的伪分布式部署(HDFS)
Hadoop最详细的伪分布式部署(HDFS) 1.添加Hadoop用户 [root@hadoop001 ~]# useradd hadoop [root@hadoop001 ...
-
2019-02-10 Hadoop最详细的伪分布式部署(MapReduce+Yarn)
1.修改mapred-site.xml [hadoop@hadoop000 ~]# cd /opt/software/hadoop/etc/hadoop [hadoop@ha...
-
2019-02-05 Linux基础命令 三
Linux最常用实战命令（三） 用户、用户组 用户 useradd 用户名 添加用户 userdel 用户名 删除用户 id 用户名 查看用户信息 passwd 用户名 修改...
-
2019-02-02 Linux基础命令 二
Linux最常用实战命令（二） 实时查看文件内容 tail filename tail -f filename 当文件(名)被修改后，不能监视文件内容 tail -F fil...
-
2019-01-28 Linux基础命令 一
Linux最常用实战命令（一） 查看当前目录 pwd 查看IP ifconfig 查看虚拟机ip hostname 主机名字 i 查看主机名映射的IP 切换目录 cd cd ...