240 发简信
IP属地:河北
  • hive建表-指定文件类型和压缩类型以及字段分隔符

    ORC文件--包含snappy、zlib两种压缩格式,不需要配置compress参数 CREATE EXTERNAL TABLE tbl_orc...

  • 关于是否在intellij idea 的工程下的resources目录下添加core-site.xml 的区别?

    hadoop core-site.xml 中通常有核心的配置项,比如: 如图,当resources目录下添加了Hadoop core-site....

  • Resize,w 360,h 240
    Kafka 入门1:系统架构、基本概念以及伪集群搭建方法

    一、Kafka 是什么? Apache Kafka 本质上是一种消息中间件,用来可靠传递消息事件,用来管理消息队列(Message Queue)...

  • Redis 高级功能

    一、Redis 管道技术 1.1 背景 想象一下,现在需要向 Redis 中添加大量的 KV 对,可以通过直接调用大量的 set 命令来完成,比...

  • 解决 hive 建表注释中文乱码问题

    有时在 hive 中创建表之后,在查看表结构(describe TABLE_NAME)或者建表语句(show create table TABL...

  • Resize,w 360,h 240
    Spark 中 RDD 算子 ReduceByKey 和 GroupByKey 使用方法和区别

    在对RDDPair(一种特殊的 RDD,即RDD[(key, Row)])进行操作时经常会用到 reduceByKey() 和 groupByK...

  • Resize,w 360,h 240
    HDFS读写文件流程

    https://www.cnblogs.com/laowangc/p/8949850.html 一、HDFS读取文件流程: 详解读取流程: Cl...

  • Resize,w 360,h 240
    Flink 入门(一):Flink 背景、架构以及基本知识点

    今年 Flink 火的一塌糊涂,一些大厂比如阿里巴巴也都开始使用 Flink 构建实时数据仓库。 一、什么是 Flink ? 1.1 批处理和流...

  • Resize,w 360,h 240
    Flink 入门(二):Mac 上搭建 Flink & Flink 配置项

    Flink V1.9 官方中文文档地址:https://ci.apache.org/projects/flink/flink-docs-rele...

个人介绍
目前从事大数据开发工作,使用语言java、scala和python