240 发简信
理查德姑父
IP属地：新疆
  • 180
    理查德姑父
    Spark-SQL

    1. 开始使用spark SQL 1.1 Spark SQL CLI 可以使用本地命令行的方式使用Spark SQL查询 【注意】Spark SQL CLI无法与Thrift...

    749 0 0
  • 120
    180
    理查德姑父
    kafka生产者及问题记录

    1.生产者API 1.1 定义 自定义数据流向kafka集群中的TOPIC发送数据的应用程序就是kafka生产者。 注意：在0.10.0的官方文档中指出，目前版本支持java...

    716 0 0
  • 180
    理查德姑父
    Dataset API

    DataSet在spark中被称为类型化API，在编译时就会检查类型，而DF在运行时才会检查。DataSet具有严格JVM语言特性，仅在Scala与java中使用。在Data...

    780 0 0
  • 180
    理查德姑父
    结构化API

    概述 结构化API可以用来处理各种数据类型，包括非结构化的日志文件、半结构化的csv文件以及结构化的parquet文件。Spark中的结构化API主要是指以下三种核心分布式集...

    416 0 0
  • 180
    理查德姑父
    概述

    一、Spark中的部分概念 1、DataFrame：一种结构化的API 2、窄依赖与宽依赖 窄依赖：多分区输入与多分区输出形成一对一映射，每个输入分区只对一个输出分区有影响；...

    341 0 0
  • 180
    理查德姑父
    第一章 天灾

    楔子：传说世间有月下老人者，于数千百年前修成真神，掌管人间姻缘；凡间亦有红娘者，是为月下老人之使者，每每代老人成就人间好事。 那一年，天降大灾，黄河泛滥...

    274 0 0
  • 180
    理查德姑父
个人介绍
公司：天下第一大帮-丐帮
职位：丐帮第108代入门级弟子
个人经历：师从洪帮主第90代传人，学习降龙之术。资质愚钝，尚未入门。