240 发简信
IP属地:上海
  • Resize,w 360,h 240
    开源项目——大数据入门指南

    开源项目地址:https://github.com/heibaiying/BigData-Notes ✒️ 前 言 大数据技术栈思维导图 ...

  • Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

    一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但...

  • Hadoop 系列(七)—— HDFS Java API

    一、 简介 想要使用 HDFS API,需要导入依赖 hadoop-client。如果是 CDH 版本的 Hadoop,还需要额外指明其仓库地址...

  • Hadoop 系列(六)—— HDFS 常用 Shell 命令

    1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容...

  • Hadoop 系列(五)—— Hadoop 集群环境搭建

    一、集群规划 这里搭建一个 3 节点的 Hadoop 集群,其中三台主机均部署 DataNode 和 NodeManager 服务,但只有 ha...

  • Hadoop 系列(四)—— Hadoop 开发环境搭建

    一、前置条件 Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见: Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件...

  • Hadoop 系列(三)—— 分布式计算框架 MapReduce

    一、MapReduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序。编写好的程序可以提交到 Hadoop...

  • Resize,w 360,h 240
    Hadoop 系列(二)—— 集群资源管理器 YARN

    一、hadoop yarn 简介 Apache YARN (Yet Another Resource Negotiator) 是 hadoop ...

  • Resize,w 360,h 240
    Hadoop 系列(一)—— 分布式文件系统 HDFS

    一、介绍 HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等...