20180525早课记录18-Hadoop

1.昨晚若泽分享了一个开源组件叫什么?

hystrix

2.jps如果看了信息不可用,我们该怎么做

ps一下进程 进入相应用户下去看

3.hadoop pid默认在哪?哪个变量和参数文件修改

默认在 /tmp 目录下
在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量

4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式

hdfs dfsadmin -safemode leave

5.hdfs执行操作命令时,发现有权限不可访问或者写入,请问你们该怎么办

更换用户 或 更改权限
su user -c或者hdfs dfs -chown

6.hdfs有垃圾箱吗?你们觉得生产上有必要开启吗?

有垃圾箱 生产可以开启

7.flume哪三个角色的?是不是一个进程?官网会看吗?

source channel sink 是一个进程

8.kafka哪三个角色的?是不是一个进程的?

producer topic consumer,不是一个进程

9.腾讯课堂上的kafka部署,看过了吗?

没有

10.hdfs dfs命令和什么命令等价

hadoop fs

11.hdfs文件写流程

参考前面博客

12.hdfs读流程

参考前面博客

13.一个文件260M,多少块

3

14.假如namenode是安全模式,你觉得可hdfs可以读吗

可以

15.输入spilt和什么有关?影响什么的数量?

和块大小有关,影响maptask的数量

16.默认reduce task个数多少?决定了最后输出文件个数

默认1个

17.上题中 参数是哪个?会改吗? 做过实验没?

还没

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,873评论 12 168
  • 一.简述如何安装配置apache 的一个开源的hadoop 1.使用root账户登陆 2.修改ip 3.修改hos...
    栀子花_ef39阅读 10,404评论 0 52
  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 12,136评论 0 34
  • 第(1)章 刘传,正如他的名字一样,是一个及其注重传承的人。或者说他跟他的村民一样,都比较注重传承。 什么是传承,...
    馒头蘸酱阅读 2,695评论 0 0
  • 作业一: 如果时光定格在那一刻,大概就能看见三十多岁盛怒的父亲,七八岁不停抽泣的小女孩,还有一个因女孩生气而被摔得...
    飞鸟与愚阅读 1,396评论 1 1

友情链接更多精彩内容