大数据工作笔记||如何在hyper-v上扩充HDFS的存储空间

问题描述:最近公司来了一批200G左右的数据,因为以前的测试机器都是随便搭的,内存不够,所以要扩充HDFS的存储空间

操作环境:hyper-v,centos6.7 ,内核版本4.4.113-1.el6.elrepo.x86_64

此文档实在伪分布式操作系统上操作的,实际的集群扩容类似

一,新增硬盘

1.保证你的虚拟机处于关机状态


2.右键->选择“设置”


3.选择“IDE控制器”-->“硬盘驱动器”-->“添加”


4.点击“新建”


5.选择“VHDX(H)”下一步


6.选择“动态扩展”


7,根据现场情况选择“名称和位置”


8,根据现场情况设置新增硬盘的大小-->“下一步”---->“完成”


二,对新增硬盘分区,挂载

1.连接到虚拟机输入命令 fdisk –l 找到自己新增的硬盘

2. 进入磁盘,对磁盘进行分区输入命令fdisk +磁盘名称

3.输入“n”新建分区----à输入“p”创建主分区-----à输入“1”设置扇区默认从1开始----à根据现场情况输入扇区的结束位置(我这里把整个硬盘做一个分区直接回车)---à输入“w”回车,保存(如果要把整个硬盘挂载到某个目录可以不分区)

4.输入fdisk –l 查看硬盘是否分区成功(Disk identifier:标识不为0x00000000即为分区成功)

5.格式化分区输入命令mkfs.ext4  +分区名称(例如要格式化/dev/sdb1的命令为:mkfs.ext4   /dev/sdb1 )

6.挂载分区输入命令mount+分区名称+挂载目录(例如要把/dev/sdb1挂载到 /mnt/cdrom目录下的命令为:mount /dev/sdb1  /mnt/cdrom)

7检查分区是否挂载成功,输入df –h 如挂载成功如下图所示


三.扩容datanode存储目录

1.连接到datanode所在的服务器,找到datanode的存储目录

(可从cloudera manager上HDFS下的datanode节点的配置中找到datanode的存储目录,这里的是/dfs/dn)


2.关掉集群服务

3.在新挂载磁盘的目录中新建跳板目录mkdir /new

4. 将新建的分区挂载到新建的目录上mount /dev/sdb1 /new

5.将hdfs中存储数据的目录复制到新建的跳板中cp -R /dfs/dn/*  /new

6.解除挂载umount /new

7. rm -rf /dfs/dn/*

      ####可选,主要为了腾出空间给原来的硬盘

8. 将新磁盘挂载到HDFS中数据的存储目录mount /dev/sdb1 /dfs/dn(此时你会的发现之前的/dfs/dn目录文件已经全部转移过来了)

9. 删除跳板目录,rm -rf /new (等待/dfs/dn目录数据恢复之后再删除)

10.将目录从新授权给HDFS角色,chown -R hdfs:hdfs /dfs/dn/ (一定要记得授权,否则datanode会读取文件失败)

11.设置开机自动挂载(vim /etc/fstab)

在/etc/fstab文件的后面添加/dev/sdb1               /dfs/dn                 ext4    defaults        0 0

12. 检查开机挂载是否配置成功

13.重启服务打开/etc/fstab文件

查看最后一行是否为仍是/dev/sdb1               /dfs/dn                 ext4    defaults        0 0若是则说明开机自动挂载设置成功


14.分别在各个datanode节点实现上述操作即可完成HDFS的扩容



制作人:云成鹏(如发现文档中有任何错误或遗漏之处请及时提醒,以便纠正修改,谢谢)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容