240 发简信
IP属地:贵州
  • spark_SQL 学习

    历经版本迭代更新,spark sql中原本带有模式信息的RDD即SchemaRDD,在spark1.3之后变成了新的数据结构 DataFrame...

  • Resize,w 360,h 240
    InnoDB存储引擎 一

    InnoDB基础架构 InnoDB存储引擎具有多个内存块,组成一个内存池。内存池: 维护所以进程线程需要访问的多个内部数据结构 缓存磁盘文件数据...

  • Resize,w 360,h 240
    Hive基础篇

    Hadoop生态系统底层是HDFS存储系统,在此之上是HBase和MapReduce,再往上是Pig和Hive。Pig适用于流处理,应用场景为E...

  • NoSql 基础了解

    NoSQL的四大类型 键值数据库 如redis 列式存储数据库 如HBase 图数据库 如Neo4J 文档数据库 如MangoDB NoSQL的...

  • HBase入门学习

    HBase的数据模型 HBase基于HDFS进行底层数据存储,HBase是谷歌内部工具BigTable的一个开源实现,BigTable基于DFS...

  • HDFS相关内容学习

    NameNode 包含两种重要数据结构 FsImage:保存系统文件树FsImage记录内容包括:访问权限,块大小以及组成文件的块,文件的复制等...

  • Resize,w 360,h 240
    Spark学习笔记三_下 Spark 核心原理

    架构简要介绍在前几片博客提过了 Spark的消息通信原理 通信模块类图 首先看一下Spark的消息通信的类图 最核心的是左上角的虚线框的四个类首...

  • Spark学习笔记三《图解Spark核心技术与案例实战》阅读之RDD

    之前的集群容错处理模型比如MapReduce,Dryad等,都是将计算转换为一个DAG,是的模型能有效的恢复DAG中的故障和慢节点执行的任务,但...

  • Resize,w 360,h 240
    Spark学习笔记二_RDD数据结构及其操作

    参考Spark官方文档:http://spark.apache.org/docs/latest/rdd-programming-guide.ht...