6月22日第三十二次早课(hadoop)

1.hadoop的褒义狭义

狭义指hadoop,广义指hadoop生态圈

2.hadoop三大组件,分别做什么?官网地址是什么

hdfs,mr,yarn,           hadoop.apache.org

3.hdfs的块默认大小,副本数默认多少?哪个参数控制会找吗?

128M,3

4.hdfs进程有哪些?按启动顺序

nn dn snn

5.谈谈对jps命令的理解

显示java进程信息的一个命令

6.谈谈对pid文件的理解

保存进程号的文件

7.说说你们会的hdfs哪些shell命令

  hdfs dfs -ls -mkdir -text -cat -mv -cp

8.NN,DN,SNN节点分别做什么的?

    NN存储元数据

    DN存储数据

    SNN默认一小时的冷备

9.浅谈副本放置策略

 首先就近dn,然后考虑当前机柜不同dn,再不同机架dn,最后考虑跨数据中心dn

10.(面试题)hdfs读写流程,mr提交到yarn流程  这三块,博客有没有文档了?


11.yarn的调优参数那两篇,你们博客上有没有?

12.谈谈你们对shuffle的初步理解

    预先reduce,减少reduce的复杂度

13.hive里哪种SQL会执行mr job?

    聚合,join

    insert ... as select

14.hive的元数据和数据分别存储在哪?

    mysql,hdfs

15.你们的博客有hive的 分区 作业吗?做了没

16.你们的博客有hive的 udf函数 作业吗?做了没

17.你们的博客有sqoop从MySQL抽取到hdfs或者hive作业吗?做了没

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 9,182评论 0 14
  • 各版本hadoop文档地址 Hadoop的框架最核心的设计就是:HDFS(Hadoop Distributed F...
    MicoCube阅读 4,763评论 0 2
  • 之前的有点忘记了,这里在云笔记拿出来再玩玩.看不懂的可以留言 大家可以尝试下Ambari来配置Hadoop的相关环...
    HT_Jonson阅读 8,170评论 0 50
  • 做一个平凡的人,心向阳光、沉静安恬。忙时,兢兢业业;闲时,与亲作伴抑或抱书而眠。 做一个平凡的人,不好高骛远,不心...
    陌臣阅读 3,089评论 0 0
  • “妈妈,这是变身的小蓝,超人豹!” “我是粉红豹!” 比赛前夜你们兴奋的跟我分享新车,每一次大赛前,我都会给你们设...
    吉祥如意妈咪阅读 3,613评论 0 0