简书社区内容管理公告 近期简书依照《网络安全法》《互联网信息服务管理办法》《互联网新闻信息服务管理规定》等相关法律法规，对社区内容进行调整，调整期间会出现文章锁定情况，简书运...
发简信
IP属地：辽宁
-
为什么文章会被锁定，被锁定如何解锁？
-
安装kafkaKafka的一些概念 Broker ： 安装Kafka服务的那台集群就是一个broker（broker的id要全局唯一） Producer ：消息的生产者，负责将数据写入到b...
-
-
Spark RDD的依赖关系RDD和它依赖的父RDD（s）的关系有两种不同类型，即窄依赖（narrow dependency）和 宽依赖（wide dependency） 窄依赖： 一：map、filt...
-
用Spark实现多种方式的排序
方式一： package Day05 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, ...
-
SparkSQl的使用
SparkSql现在有两个版本，方式如下： 方式一:使用sql版本 //提交的这个程序可以连接到spark集群中 val conf =new SparkConf().s...
-
关于Spark序列化的编程题
现有100W+条数据，格式如下： 3|2016年9月16日,星期五,23:13:09|192.168.1.102|那谁|武士|男|27|0|175510/800000000 ...
-
Spark RDD的checkpoint机制1.什么时候使用checkpoint （1）迭代计算，要求保证数据安全 （2）对速度要求不高（跟cache进行对比） （3）将中间结果保存到hdfs //设置checkpoi...
-
Spark RDD API1.aggregate: 先进行局部聚合，在进行全局聚合 val z = sc.parallelize(List(1,2,3,4,5,6), 2) z.mapPartiti...
