2018-05-24

1.MapReduce谈谈你们的理解

    当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

2.Map是什么

    map 映射函数

3.Reduce是什么

    reduce是规约函数

4.shuffle谈谈你们的理解

 shuffle就是把多个map产生的映射进行整合,减少map的结果数量,就是提前规约

5.wordcount那副图,脑子是否有印象?

 

6.输入分片一般和什么有关?多少个分片就可以有多少个map task,对不对?

    hdfs的block,如果不做优化的话多少个分片就对应多少个map task

7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?

    container

8.假如hdfs的文件都是小文件,那么就会有多个map task,我们生产上一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题),如何合并 等高级班若泽讲,这也是线下生产项目课程的一个知识点

    一旦合并小文件我们task数量就少了

9.NM节点的内存和容器的内存参数哪几个?

    3

10.容器是使用物理core还是虚拟core

    虚拟core

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1、 性能调优 1.1、 分配更多资源 1.1.1、分配哪些资源? Executor的数量 每个Executor所...
    Frank_8942阅读 4,836评论 2 36
  • 1.MapReduce谈谈你们的理解 2.Map是什么 3.Reduce是什么 4.shuffle谈谈你们的理解 ...
    LY_babc阅读 102评论 0 0
  • 思考问题 MapReduce总结 MapReduce MapReduce的定义MapReduce是一种编程模型, ...
    Sakura_P阅读 1,017评论 0 1
  • 姓名:黄礼龙 公司:余姚大发化纤有限公司 2017.6.16-18上海盛和塾264期 《六项精进》学员 组号:乐观...
    黄礼龙阅读 98评论 0 0
  • 1 有个上初中的女娃,QQ留言给我,说有男生给她发手机短信,全文如下: 生活本来很happy,何必苦苦study,...
    魏智渊阅读 809评论 0 11

友情链接更多精彩内容