大数据小同学

Spark Streaming原生支持一些不同的数据源。一些“核心”数据源已经被打包到Spark Streaming 的 Maven 工件中，而其他的一些则可以通过 spar...

大数据小同学

WordCount案例实操 需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 添加依赖 编写代码 ...

大数据小同学

Spark Streaming是什么 Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Tw...

大数据小同学

数据说明 数据集是货品交易数据集 每个订单可能包含多个货品，每个订单可以产生多次交易，不同的货品有不同的单价 加载数据 tbStock： tbStockDetail: tbD...

大数据小同学

Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、U...

大数据小同学

手动指定选项 Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册...

大数据小同学

IDEA创建SparkSQL程序 IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项 程序如下： 用户自定义UDF函数 在Shell...

大数据小同学

DataSet Dataset是具有强类型的数据集合，需要提供对应的类型信息。 DataSet创建 创建一个样例类 创建DataSet RDD转换为DataSet Spark...

大数据小同学

SparkSession新的起始点 在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveCo...

大数据小同学

什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的...

大数据小同学

累加器 累加器用来对信息进行聚合，通常在向 Spark传递函数时，比如使用 map() 函数或者用 filter() 传条件时，可以使用驱动器程序中定义的变量，但是集群中运行...

大数据小同学

HDFS Spark的整个生态系统与Hadoop是完全兼容的,所以对于Hadoop所支持的文件类型或者数据库类型,Spark也同样支持.另外,由于Hadoop的API有新旧两...

大数据小同学

Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件；文...

大数据小同学

Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shu...

大数据小同学

RDD缓存 RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。但是并不是...