发简信
IP属地：山东
-
Spark-SQL
1. 开始使用spark SQL 1.1 Spark SQL CLI 可以使用本地命令行的方式使用Spark SQL查询 【注意】Spark S...
-
kafka生产者及问题记录1.生产者API 1.1 定义 自定义数据流向kafka集群中的TOPIC发送数据的应用程序就是kafka生产者。 注意：在0.10.0的官方文...
-
Dataset API
DataSet在spark中被称为类型化API，在编译时就会检查类型，而DF在运行时才会检查。DataSet具有严格JVM语言特性，仅在Scal...
-
结构化API
概述 结构化API可以用来处理各种数据类型，包括非结构化的日志文件、半结构化的csv文件以及结构化的parquet文件。Spark中的结构化AP...
-
概述
一、Spark中的部分概念 1、DataFrame：一种结构化的API 2、窄依赖与宽依赖 窄依赖：多分区输入与多分区输出形成一对一映射，每个输...
-
第一章 天灾
楔子：传说世间有月下老人者，于数千百年前修成真神，掌管人间姻缘；凡间亦有红娘者，是为月下老人之使者，每每代老人成就人间好事。 ...