Driver 在Driver中，有Stream Context作为Spark Streaming的入口，Spark Streaming的最终处理实际还是交给Spark Con...
IP属地：北京
-
Spark streaming架构中的Driver和Executor
-
kafka消费者一次性语义方法
目前根据自己的理解和kafka权威指南提供的方式一共有两种可以实现消费者的一次性语义的方式，在kafka1.10之后kafka内部可以保证生产者端到broker的一次性语义。...
-
Spark应用程序的运行流程
(1) 构建Spark Application的运行环境，启动SparkContext。(2) SparkContext向资源管理器（可以是Standalone、Mesos、...
-
Spark架构相关的术语及其解释
Application（应用程序）:指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上Executor代码。 Driver （驱动器...
-
kafka生产者配置参数
1.ack ack=0， 生产者在成功写入消息之前不会等待任何来自服务器的相应。如果出现问题生产者是感知不到的，消息就丢失了。不过因为生产者不需要等待服务器响应，所以它可以以...