分布式文件系统简图:
分布式文件系统详图:
水平复制的好处:客户端只需上传一份数据,分布式文件系统通过水平复制,自动向其它磁盘备份数据 ,减少网络资源占用,提高传输效率。
数据传输以数据块为单位的好处:能有效防止数据传输过程中断电、断网等情况造成的本次传输失败的情况(如1G文件传输到999M时传输失败需要将此文件全部重新传输),最大程度减少损失。
HDFS启动与查看命令行操作:
启动hdfs伪分布环境:详细内容:
一、什么是大数据,本质?
(1)数据的存储:分布式文件系统(分布式存储)-----> HDFS: Hadoop Distributed File System
(2)数据的计算:分布式计算
二、如何解决大数据的存储?----> 分布式文件系统(HDFS,来源于GFS)
举例:网盘
(1) GFS: 没有硬盘的,数据只能存在内存中
(2) Hadoop的安装模式
(*)本地模式 :1台
(*)伪分布模式:1台
(*)全分布模式:3台(1NameNode+2DataDode)