大数据面试-hadoop(2)

jps命令的用处?

这个命令可以检查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作

请列出你所知道的 hadoop 调度器,并简要说明其工作方法?
1 FIFO schedular:默认,先进先出的原则
2 Capacity schedular:计算能力调度器,选择占用最小,优先级高的先执行,以此类推。
3 Fair schedular:公平调度,所有的job具有相同的资源。
hadoop 的 namenode 宕机,怎么解决

先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘中的元数据应该还存在,如果只是节点挂了,重启即可,如果是机器挂了,重启机器后看节点是否能重启,不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题,做namenode的HA

一个datanode 宕机,怎么一个流程恢复

Datanode宕机了后,如果是短暂的宕机,可以实现写好脚本监控,将它启动起来。如果是长时间宕机了,那么datanode上的数据应该已经被备份到其他机器了,那这台datanode就是一台新的datanode了,删除他的所有数据文件和状态文件,重新启动。

在hadoop中文件的压缩带来了两大好处
它减少了存储文件所需的空间;

加快了数据在网络上或者从磁盘上或到磁盘上的传输速度;
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容