前言 昨天我们已分享过一篇高质量HiveSQL优化的文章:HiveSQL优化方法与实践[http://mp.weixin.qq.com/s?__biz=Mzg3NjIyNjQ...
前言 昨天我们已分享过一篇高质量HiveSQL优化的文章:HiveSQL优化方法与实践[http://mp.weixin.qq.com/s?__biz=Mzg3NjIyNjQ...
在Yarn中有三种调度器可以选择:FIFO Scheduler,Capacity Scheduler,FairS cheduler。 FIFO调度器 FIFO Schedul...
这个讲得确实好,点赞👍
yarn原理详解一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构,我们称Hadoop2.0中的MapReduce为MR...
一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构,我们称Hadoop2.0中的MapReduce为MR...
上一篇文章讲解了RDD的基本概念, 这篇文章尝试分析当Spark拿到一个RDD之后是如何处理它的. 文中会涉及到Spark内部的实现细节, 希望通过本篇文章让大家对Spark...
强哥说他发现了财富密码,最近搞了一套股票算法,其中有一点涉及到股票连续涨停天数的计算方法,我们都知道股票周末是不开市的,这里有个断层,需要一点技巧。我问是不是时间序列,他说我...
一.编写初衷描述 | 在应有系统开发初期,由于数据库数据较少,对于sql语句各种写法的编写体现不出sql的性能优劣,随着数据的不断增加,出现海量数据,劣质sql与优质sql在...
Oracle行转列、列转行的Sql语句总结 多行转字符串这个比较简单,用||或concat函数可以实现SQL Code selectconcat(id,username)st...
实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前...