发简信
IP属地：北京
-
System.out.println("Hello world!");
-
【源码剖析】- Spark 新旧内存管理方案（上）Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块。作为使用者的我们，搞清楚 Spark 是如何管理内存的，对我们编码、调试及优化过程会有很大...
-
GitHub入门（一）本文作者： 杨晓辉 本文链接： http://youngxhui.github.io/2017/09/01/协同过滤算法/ 版权声明： 本博客所有文章除特别声明外，均采用 C...
-
Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握1.什么是事务？ 例如像银行转账，A对B转账，B是否能收到多次转账，可能性不大；或者A转给B的时候，A同样费用被扣了多次，B只收到一次，这样也不可能。也就是说我们要做的...
-
你好，有一个小问题，kafka 的direct API不能解决这个数据消费的问题么
为什么 Spark Streaming + Kafka 无法保证 exactly once？
Streaming job 的调度与执行 结合文章 揭开Spark Streaming神秘面纱④ - job 的提交与执行[https://www.jianshu.com/p...
-
关系数据库SQL之高级数据查询:去重复、组合查询、连接查询、虚拟表前言 接上一篇关系数据库SQL之基本数据查询:子查询、分组查询、模糊查询，主要是关系型数据库基本数据查询。包括子查询、分组查询、聚合函数查询、模糊查询，本文是介绍一下关系型数...
-
Spark计算模型与I/O机制Part 1 1. Spark计算模型 1.1 Spark程序模型 首先通过一个简单的实例了解Spark的程序模型。 1）SparkContext中的textFile函数从H...
-
Spark1.5.0的安装和部署
一、Spark集群部署 1、软件版本 OS版本：Ubuntu 14.04 Hadoop版本：Hadoop 2.6.0 JDK版本：Jdk1.8.0_40 Scala版本：sc...
-
白日梦30篇——送给美丽的妳
婉柔绰约，婷婷玉立 柔情似水，如碧波荡漾 甜美的微笑，月牙的慧眼 让人停眸，让人心动 大家闺秀的气质，小家碧玉的神色 让人怜爱，让人守护 静待妳骄傲自由地绽放 风中的向阳花。...
-
Yarn Client模式下启动Spark的配置问题
由于YARN client模式对用户不直接暴露用于提交YARN程序的辅助程序，因此许多参数是通过环境变量来设置的，可以在spark-env.sh中进行如下配置： 这是我的sp...
-
Spark算子：统计RDD分区中的元素及数量
Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS...
