240 发简信
IP属地:江苏
  • Resize,w 360,h 240
    Docker学习笔记

    什么是docker Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。 Docker 可以让开发者打包...

  • Resize,w 360,h 240
    Redis学习笔记

    Redis简介 REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-val...

  • Resize,w 360,h 240
    Hive自定义UDF、UDTF(initialize部分源码解析)

    这里分析Hive中部分UDF及UDTF函数的源码并依此进行自定义 1.UDF 这里UDF以Upper方法为例 此方法会将传入的字符串变为大写后返...

  • Resize,w 360,h 240
    Sqoop导入My'SQL数据到hive及hdfs(全量及增量)

    Sqoop安装 配置conf下的sqoop-env.sh文件 添加关键的环境变量 因为要使用mysql,需要把mysql驱动包添加到lib下 在...

  • Resize,w 360,h 240
    MapReduce中DBInputFormat和DBOutputFormat的使用

    DBWritable 在通过Mapper读取数据时可以选择使用DBInputFormat或DBOutputFormat从Mysql或Oracle...

  • Resize,w 360,h 240
    HBase int类型字段存储乱码

    用MR往HBase里写Int类型遇到了乱码问题,总结一下。 直接往HBase表里写int,通过shell查询 可以看到是一堆字节数组,hbase...

  • Resize,w 360,h 240
    Flume SinkProcessor及ChannelSelector(一个channel对接多个sink的情况)

    今天在看网课做项目的时候使用flume的时候拿它和kafka对接,source使用的是一个TAILDIR,channel就是一个普通的memor...

  • Resize,w 360,h 240
    Hadoop Partitioner分区与Shuffle的关系及自定义分区代码

    初学Hadoop对学习的东西作一个总结。 Partitioner(分区) 我们知道Hadoop中默认使用的InputFormat是TextInp...

  • Resize,w 360,h 240
    LinkedBlockingQueue及AQS哨兵节点的重要性

    线程池主要有两种创建方式。 一种是选择使用Executors线程池工具类,可以理解为线程池工厂类,通过该类设置好的一些静态方法,创建指定类型的线...