240 投稿
大数据BigData
收录了5篇文章 · 1人关注
  • Dr.Elephant遇到的问题

    今天刚到公司，想跑一个复杂的mapreduce，结果刚打开电脑就傻眼了，两个datanode全挂了，原因是磁盘容量不足，20G全用完了，好家伙，...

    0.2 文贞武毅 0 1
  • hdfs数据完整性

    hdfs会对写入的所有数据计算校验和，在数据通过不可靠通道传输的时候再次计算校验和，对比就能发现数据是否损坏，常用的通过32位循环冗余校验，在h...

    0.2 文贞武毅 0 1
  • Resize,w 360,h 240
    Dr.Elephant入门

    Dr.Elephant是一个 Hadoop 和 Spark 的性能监控和调优工具，由 LinkedIn 于 2016 年 4 月份开源。能自动化...

    0.2 文贞武毅 0 2
  • hadoop入门-MapReduce实例（三）

    这次尝试区分器的使用很多证件的号码会根据前缀的几个字符来确定一些信息，比如省份等，手机号也有这样的特征，通过前缀来区分是移动还是电信联通等，将号...

    0.2 文贞武毅 1 1
  • hadoop入门-MapReduce实例（二）

    本次尝试自定义输出类型手机流量分为上传流量和下载流量，统计的时候需要得到的结果表示为（手机号 上传流量 下载流量 总流量）例如（13333333...

    0.1 文贞武毅 1 1
  • hadoop入门-MapReduce实例（一）

    本机开发mapreduce，然后打包上传到hadoop服务器 一、入门wordcount1、新建maven项目，pom.xml内容： 然后创建源...

    0.1 文贞武毅 1 2

专题公告

mapreduce的原理，执行过程，实例