父类EventLoop起了一个Thread，监听从LinkedBlockingDeque中获取event，然后用onReceive接收执行，DAGSchedulerEvent...
发简信
IP属地：广东
-
spark DAGSchedulerEventProcessLoop 设计原理
-
6.1.2版本elasticsearch源码环境构建步骤(idea)
ElasticSearch构建源码环境步骤： 以版本6.1.2 on mac, idea为例 准备：gradle 4.3版本。jdk10。 jdk10 mac版本可以到我的百...
-
spark->es快速导入数据
elasticsearch-spark 提供了saveToEs api以支持快速导入数据。但es集群线程池有限，在大量写入数据的同时，对cpu的压力非常大，影响线上es的查询...
-
本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
-
Apache Kafka详解一、消息队列Message Queue 两种模式 点对点模式点对点模式是一个基于拉取或轮询的消息传送模型，由消费者主动拉取数据，客户端需要实时开启一个线程监控队列中是否有数据...
-
Spark CommitCoordinator 保证数据一致性
本文引用了技术世界文章，来自：http://www.jasongj.com/spark/committer/ 问题引入 Spark 输出数据到HDFS时，多个task同时写数...
-
Akka系列（五）：Java和Scala中的Future随着CPU的核数的增加，异步编程模型在并发领域中的得到了越来越多的应用，由于Scala是一门函数式语言，天然的支持异步编程模型，今天主要来看一下Java和Scala中的Fut...
-
flink 流表join mysql表
1.流表 2.mysql 维表 3.join 4.在终端执行 nc -lk 9999，即可输入流数据，实现流数据与mysql数据的join5.依赖
-
精通Apache Flink必读系列文章 转
2018年08月17日 11:38:25列国周游阅读数：284 版权声明：著作权归作者所有。 商业转载请联系作者获得授权，非商业转载请注明出处。 https://blog.c...
-
Structured Streaming Tipstitle: Structured Streaming Tips （一） tags: spark structured-streaming tips gc 优化 catego...
-
Graphx中处理字符串类型的ID
Graphx中的结点ID只能是Long型的，但是在实际的业务中有时会遇到字符串类型的ID，这时需要建立一个结点ID的映射。 使用python随机生成100条字符串类型的边...
