240 发简信
IP属地:广东
  • 你好,请问你使用的这个前端模版是基于哪个项目的?

    基于SparkSQL实现的一套即席查询服务

    IQL (项目地址:https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即席查询服务,具有如下特性: 优...

  • 哈哈哈,我最近也在看presto

    Presto调度模块源码阅读(1)-Client提交请求

    当客户端以控制台Console、脚本--execute等方式提交SQL作业时,Presto的Client会将作业相关的参数和脚本封装成一个Restful请求,提交给Pr...

  • 120
    spark 启动过程

    spark1.4.1 启动过程 今天稍微没那么忙了,趁着这个时间,准备把spark的启动过程总结一下(),分享给大家。现在使用的spark1.4.1版本 当然前提是你已经把s...

  • 120
    Hdfs读写原理

    介绍 首先,它是一个文件系统,有一个统一的命名空间——目录树 其次,它是分布式的,由很多服务器联合起来实现功能; 1.hdfs文件系统会给客户端提供一个统一的抽象目录树,客户...

  • spark streaming 与kafaka结合 低阶 高阶api的一些理解

    1. createStream会使用 Receiver;而createDirectStream不会,数据会通过driver接收。 2.createStream使用 Recei...

  • 里面存储的有可能是history的内容。就是我们通过web界面监控spark任务的那些内容。这个可以设置,一般是放在hdfs。好像是这个配置项 spark.eventLog.dir

    BlockManager

    架构简介 BlockManager 是一个嵌入在 spark 中的 key-value型分布式存储系统,是为 spark 量身打造的,BlockManager 在一个 spa...

  • 29天的三月

    九点多到家,大爷爷问我吃饭没,我骄傲的说了没有,本想显摆一下减肥的决心,爷爷却惦着脚给我热了个肉夹馍,热乎乎的,我拿着它,好温暖,不吃也太不孝顺了,于是在临近十点吃了...

  • cdh部署

    0、注意安装时需要给server免密ssh登陆所有机器的权限 需要用到的命令:ssh -p 端口号 用户@ip scp -P 端口号 文件名 用户@ip:路径 1、jdk...

  • 120
    BlockManager

    架构简介 BlockManager 是一个嵌入在 spark 中的 key-value型分布式存储系统,是为 spark 量身打造的,BlockManager 在一个 spa...

  • Shuffle

    # 简介 shuffle 是spark 计算核心的的部分之一,很多优化也是基于shuffle来做,所以了解它也是必要的。stage按照是否是宽依赖来切分,而两个stage之间...

  • 120
    druid 架构

    druid被设计成一个系统组合,每个系统都有不同的角色,一起构成一个工作系统。 结构图

  • 120
  • durid 概念

    概念 druid是基于olap的数据库查询系统。有点类似现在开源的kylin。下面我先简单介绍druid的一下基本概念,一些我认为需要重点展开和了解的,在后面会有章节具体介绍...

  • 中年妇女=大妈=灾难??

    前几天被网上的一篇文章给硬生生的震撼到了“男到中年不如狗,女到中年狗都嫌”,犀利的文字,锐利的图片,甚是抢眼。作为一个“大龄未婚”女子,这篇文章也给我带来了很深的思考...