Shawn999

Hfile结构 文件主要分为四个部分：Scanned block section，Non-scanned block section，Opening-time data se...

Shawn999

介绍 HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache...

Shawn999

hive介绍 Hive通常意义上来说，是把一个SQL转化成一个分布式作业，如MapReduce，Spark或者Tez。无论Hive的底层执行框架是MapReduce、Spar...

Shawn999

Year的资源管理模型 在实际系统中，资源本身是多维度的，包括CPU、内存、网络I/O和磁盘I/O等，因此，如果想精确控制资源分配，不能再有slot的概念，最直接的方法就是是...

Shawn999

参与mapreduce作业执行涉及4个独立的实体： 客户端（client）提交MapReduce作业JobTracker1.作业调度：将一个作业（Job）分成若干个子任务分发...

Shawn999

HDFS 2.0 的 HA 实现 Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 ...

Shawn999

hdfs架构设计 HDFS主要由3个组件构成，分别是NameNode、SecondaryNameNode和DataNode，HSFS是以master/slave模式运行的，其...

Shawn999

1.1 简单介绍 实时处理Stream流的能力，有容错性，保证性处理机制。对于输入数据，支持消息队列，像RabbitMQ, JMS, Kafka等或者传统的数据库和Hbase...

Shawn999

1.1 读写方式 producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机...