大数据之MapReduce分布编程模型

导读: 计算机科学是算法与算法变换的科学,算法是计算机科学的基石。 任何一个计算问题的分析与建模,几乎都可以归为算法问题。 MapReduce算法模型是由Google公司针对大规模群组中的海量数据处理而提出的分布编程模型,主要应用于大规模数据集{大于1TB}的分布并行运算。

MapReduce模型中的Map{映射}和Reduce{化简}创意来自函数型编程语言,同是也继承了向量型编程语言的特性。 MapReduce模型能够使程序员在不了解分布式并行编程的情况下,将自己书写的程序在分布式系统上运行。MapReduce模型主要实现了映射与化简两个核心功能,分别由Map和Reduce完成,这两个函数也是函数型语言中常用的函数,由用户负责实现。

Map函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集。而Reduce函数是从两个或更多个Map结果中,通过多个线程、进程或者独立系统并行执行处理的结果进行分类和归纳。 一个Map函数用来把对映象成一组新的键值对,Reduce函数用来对同一个键的值进行合并。

下面给大家着重介绍一下函数式编程范式,函数式编程是一种编程范式,在这种编程范式中,更多地使用了函数运算。

函数型语言与函数式编程

函数型语言是一种典型的程序设计语言。函数型语言的特点是把问题求解过程表示成块结构,对调用块的调用者来说,每个块都有输入数据和经过加工处理后的输出数据。每个块的功能就如同函数的功能,例如LISP语言、ML语言等都属于函数型语言。

利用函数型语言编程就是一种函数式编程,函数式编程使用一系列的函数解决问题。任何一个函数仅接受输入数据并产生输出函数值,不包含任何能影响产生输出的内部状态。任何情况下,使用相同的参数调用函数始终能得到一致的结果。

在一个函数式的程序中,输入数据要通过一系列的函数,每个函数根据它的输入产生输出。函数式编程位于面向对象编程的对立面。面向对象编程通常包含内部状态{字段}和许多能修改这些状态的函数,程序运行中则不断的修改状态。 函数式编程则极力避免状态改动。对于复杂的系统,可以同时使用函数式编程和面向对象编程,在这种混合应用中,既采用了面向对象技术建模,还获得了函数式编程风格的优点。

函数式编程的优点

函数式编程具有如下优点:

1,逻辑可证

由于没有边界效应,所以更容易从逻辑上证明程序正确性,而不是仅通过测试完成。

2,模块化

函数式编程以简单为原则,一个函数只做一件事,将大的功能模块拆分成尽可能小的功能模块。小的功能模块更易于阅读和检查错误。

3,组件化

更容易利用简单的小函数加以组合形成新的功能更强的函数,体现了组件化的特点。

4,易于调试

细化的、定义清晰的函数能够使得调试更加简单,当程序运行不正常时,每个函数都是检查数据是否正确的连接口,能更快速地排除没有问题的代码,定位到出现问题的地方。

5,易于测试

函数不依赖于系统状态,无须在测试前构造测试桩,更加容易编写单元测试的代码。

6,更高的生产率

函数式编程产生的代码比其他技术更简洁,往往是其他技术的一半左右,并且更容易阅读和维护。

函数式编程的特征

1,没有副作用

函数程序由一系列函数对数据的变换构成,因为函数式编程中的每个符号都是最终的,所以从来没有在某个地方修改过值,也没有函数修改过在其作用域之外的量并被其他函数使用。这表明函数求值的结果只是其返回值,而唯一影响其返回值的就是函数的参数,函数操作数据,所以函数没有产生副作用。

2,无状态的编程

在现实情况中,状态不可能一直保持不变,而状态必然需要改变与传递,那么在函数式编程中的则是将其保存在函数的参数中,作为函数的附属品来传递。

3,输入值和输出值

在函数式编程中,只有输入值和输出值。函数式基本单位,几乎被用作所有部分,包括最简单的计算,甚至连变量都被计算所取代。变量只是一个名称,而不是一个储存单元,这是函数式编程与传统的命令式编程最经典的不同之处。

在面向对象编程中,将对象传来传去。在函数式编程中,是将函数传来传去,又将这个函数称为高阶函数。在数学和计算机科学中,高阶函数是至少满足下列一个条件的函数:

@ 接受一个或多个函数作为输入。

@输出一个函数值。

好了,今天就分享到这,下次将给大家分享映射函数与化简函数,希望大家多多关注哦!对大数据感兴趣的可以加入大数据群:725197860

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,125评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,293评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,054评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,077评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,096评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,062评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,988评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,817评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,266评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,486评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,646评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,375评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,974评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,621评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,642评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,538评论 2 352

推荐阅读更多精彩内容

  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,265评论 0 34
  • MapReduce是一个数据处理的编程模型。这个模型很简单,但也不是简单到不能够支持一些有用的语言。Hadoop能...
    单行线的旋律阅读 1,518评论 0 2
  • 或宽,或窄,或长,或短 那明灭不一的,是思念的存在 斑驳的小巷,喧闹的人海 人世间一场又一场的风来 灰色的对白,人...
    李瑞祥阅读 1,798评论 31 46
  • 1.看透“学习笔记本”的方法:首先不要再照抄板书 2.用“空白的一秒”创造“难以忘记的记忆” 记忆的关键在于“用眼...
    yinjunhee阅读 3,762评论 7 64
  • 车子停靠在空无一人的林间公路上,雪飘了又停,云雾靠近又散开,阳光照在亮晶晶的雪地上,举目远眺,有种万水千山的感觉。...
    郭襄说阅读 1,310评论 8 9