大数据学习(一)-------- HDFS

需要精通java开发,有一定linux基础。

1、简介

大数据就是对海量数据进行数据挖掘。

已经有了很多框架方便使用,常用的有hadoop,storm,spark,flink等,辅助框架hive,kafka,es,sqoop,flume等。

常见应用推荐系统,用户画像等。

2、hadoop

hadoop有三个核心组件:

hdfs:分布式文件系统

mapreduce:分布式运算编程框架

yarn:分布式资源调度平台

3、hdfs原理

hdfs存放的就是文件,顶层目录是/,可以对文件进行增删改查移的操作。

只是单机文件是存在一台主机中,而hdfs是存在多个机器中。

hdfs的运行机制:一个hdfs系统,由一台运行了namenode的服务器,和N台运行了datanode的服务器组成。

一个存储的hdfs上的文件会由客户端指定备份几个副本,然后这个文件会被切块,分布的存在多个机器上,datanode负责在多个机器上进行存储,而这些存储信息(也叫做元数据)就存在namenode里。

4、安装部署hdfs

准备多台机器

配置host和ip

防火墙 jdk

上传hadoop包

修改hadoop-env.sh 指定JAVA_HOME

修改core-site.xml 指定为hdfs namenode位置

修改hdfs-site.xml 指定namenode存储元数据目录 datanode存放文件目录

hdfs-site.xml还可以配切片大小和副本数量

拷贝到各个机器

在namenode机器上 :

初始化namenode元数据目录hadoop namenode -format

启动namenodehadoop-daemon.sh start namenode

启动所有datanodehadoop-daemon.sh start datanode

namenode datanode都是一个占用端口的软件进程,怎么启动都可以,一般会在第一台机器启动namenode,其他的启动节点datanode。

有一个web页:50070

5、hdfs客户端

三种客户端模式:网页 命令行 还有api网络连接

命令行:

上传文件

hadoop fs -put /本地文件  /hdfs路径

hadoop fs -copyFromLocal /本地文件  /hdfs路径 这个相当于put

hadoop fs -moveFromLocal /本地文件  /hdfs路径

下载文件

hadoop fs -get /hdfs中的路径   /本地磁盘目录

hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径   这个相当于get

hadoop fs -moveToLocal /hdfs路径  /本地路径

创建文件夹 hadoop fs -mkdir  -p /目录名

移动 hadoop fs -mv /hdfs的路径  /hdfs的另一个路径

删除 hadoop fs -rm -r /文件或文件夹

修改权限 hadoop fs -chown user:group /hdfs路径

​ hadoop fs -chmod 744 /hdfs路径

追加 hadoop fs -appendToFile /本地文件   /hdfs中的文件

显示 hadoop fs -cat /hdfs中的文件

​ hadoop fs -tail /hdfs中的文件

hdfs的java客户端:

windows下开发hadoop,需要下载window版本的hadoop安装包,配置环境变量HADOOP_HOME,这样才可以在windows本地进行对hadoop的开发。

Configurationconf =newConfiguration();FileSystem fs = FileSystem.get(newURI("hdfs://hdp-01:9000"),conf,"root");fs.copyFromLocalFile(newPath("本地路径"),newPath("hdfs的路径"));fs.copyToLocalFile(newPath("hdfs的路径"),newPath("本地路径"))

6、hdfs核心原理

namenode管理的是元数据:hdfs目录结构,每一个文件的块信息(块的id,块的副本数量,块的存放位置)

**namenode记录元数据原理:

​ namenode的实时的完整的元数据存储在内存中;

​ namenode还会在磁盘中(dfs.namenode.name.dir)存储内存数据在某个时间点上的镜像文件;

​ namenode会把引起元数据变化的客户端操作记录在edits日志文件中。

**checkpoint原理:

​ secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志,然后加载fsimage 镜像到内存中,然后顺序解析edits文件,对内存中的元数据对象进行修改(整合)

整合完成后,将内存元数据序列化成一个新的fsimage,并将这个fsimage镜像文件上传给namenode

可以配置secondary namenode的启动位置和元数据保存目录

写文件原理:向namenode请求,切块,建立连接,流入到指定datanode。

读文件原理:向namenode请求,获取元数据信息,把所有块流下来。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,039评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,223评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,916评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,009评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,030评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,011评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,934评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,754评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,202评论 1 309
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,433评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,590评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,321评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,917评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,568评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,738评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,583评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,482评论 2 352

推荐阅读更多精彩内容

  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 4,194评论 0 2
  • HDFS是Hadoop的一个重要组件,提供了分布式系统的文件存储,下面就我学习到的知识点整理一下吧 一、相关概念 ...
    帅可儿妞阅读 330评论 1 0
  • 半夜闻鸡鸣,不觉吃一惊。 想来当岁末,游子宜早行。
    信陵脱剑阅读 260评论 0 1
  • 终于实现了当义工的愿望,整体氛围大家轻松愉快,感谢组织者为大家地默默付出。 此次活动我们面对的是康复中心平均年龄7...
    桐桐_4df7阅读 233评论 0 1
  • 你永远奔驰在轮回的悲剧 一路扬着朝圣的长旗
    懵萌猛梦阅读 123评论 0 1