•微服务•分布式系统•服务网•模式• 自从几十年前分布式系统被首次提出，我们了解到分布式系统能够实现在这之前我们甚至没有想到过的用例，但它们也会引入各种新问题。当这些系统很少...
发简信
IP属地：北京
-
[翻译] 模式：服务网格 -
第6章 MapReduce应用开发-MRUnit编写
MRUnit是一个测试库，可以方便地测试Mapper与Reducer运行逻辑是否符合预期. 1、Mapper单元测试 如下为V1版本Mapper: 根据withOutput调...
-
第6章 MapReduce应用开发-管理配置
1、多环境配置切换 开发时，如果需要经常在本地运行与集群运行间切换，可以编写多个hadoop配置文件，每个文件包含每个环境的连接设置，运行时指定使用哪一个配置文件，可以把这些...
-
第6章 MapReduce应用开发-Configuration详解
1、API解读 Resources 配置通过资源指定，资源以XML形式包含一组name/value对，每个资源通过String或Path指定，假如使用String指定资源，将...
-
第5章 Hadoop IO操作 学习笔记
5.1 数据完整性 系统中需要处理的数据量大到Hadoop处理极限时，容易出现数据丢失或者损坏.措施：数据引入系统时计算校验和（checksum），当数据通过不可信通道传输时...
-
第3章 Hadoop分布式文件系统 学习笔记（二）3.6 数据流 3.6.1 剖析文件读取 1、客户端调用DistributedFileSystem.open方法以打开希望读取的文件，DistributedFileSyste...
-
java.util.ServiceLoader加载服务实现类
1、ServiceLoader 简介 用于加载服务提供者。 服务通常是一组接口或者抽象类，服务提供者是服务的特定实现。服务提供者中的类通常实现了接口，并子类化了在服务接口中定...
-
Java查询HDFS文件系统
1、文件元数据 FileStatus 输入如下： FileStatus封装了目录与文件的元数据信息，包括所有者、块大小、文件长度、修改时间、副本数、权限等信息 2、列出文件 ...
-
Java读写Hadoop文件
1、从Hadoop URL读取文件 示例一： URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())使...
-
第3章 Hadoop分布式文件系统 学习笔记（一）分布式文件系统：管理网络中跨多台计算机存储的文件系统，能容忍节点故障 3.1 HDFS的设计 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群。 超大文件 MB级...
-
第2章 关于MapReduce 学习笔记2.1 使用Hadoop分析数据 2.1.1 map和reduce MapReduce包含map和reduce两个阶段，每阶段输入输出都为key-value 以下示例为计算每...
-
第1章 初始hadoop 学习笔记
1.1 数据 1、数据快速增长： 1）个人产生的数据日益增长，包括电话、邮件、文件、音频、视频2）物联网数据，包括机器日志、GPS、零售交易数据、传感器、RFID读卡器 不同...
-
第1章 初识Kafka数据对于企业发展变得越来越重要，为业务决策提供依据，企业应用产生各种数据，包括系统运行日志、度量指标、响应消息、用户活动记录等，数据源多种多样，集成多种数据源，并且把数据快速...
-
-
Apache HBase ™ 参考指南
Getting Started 1. Introduction Quickstart 将先介绍如何部署单HBase实例至单节点上。 2. Quick Start - Stan...
-
Google API Design Guide
标签（空格分隔）： google restful api design 当前版本的API设计指南发布时间：2017-02-21 介绍 这是一份关于网络API如何设计的通用指南...
-
[翻译] 渐变维度Slowly Changing Dimension
数据管理和数据仓库 中的维度包含有诸如地理位置、客户或产品等实体的相对静态数据。Slowly Changing Dimensions (SCDs) 捕获的数据变化缓慢而不可预...
