中文文档「1」pyspark.streaming.StreamingContext


class pyspark.streaming.StreamingContext(sparkContextbatchDuration=Nonejssc=None)

基础:对象

Spark流媒体功能的主要入口。StreamingContext表示到Spark集群的连接,可用于创建各种输入源的数据流。它可以来自现有的SparkContext。在创建和转换数据流之后,可以分别使用context.start()和context.stop()启动和停止流计算。允许当前线程通过stop()或异常等待上下文的终止。

addStreamingListener(streamingListener)

添加一个[[org.apache.spark.streaming.scheduler.StreamingListener]]对象,用于接收与流相关的系统事件。

awaitTermination(timeout=None)

等待执行停止。

参数:timeout–等待时间(秒)

awaitTerminationOrTimeout(timeout)

等待执行停止。如果停止,则返回true;或者在执行期间抛出报告的错误;如果在从方法返回之前等待时间已过,则返回false。

参数:timeout–等待时间(秒)

binaryRecordsStream(directoryrecordLength)

创建一个输入流,用于监视与Hadoop兼容的文件系统中的新文件,并将其作为具有固定长度记录的平面二进制文件读取。必须将文件从同一文件系统中的另一个位置“移动”到受监视的目录中。文件名开头。被忽略。

参数:目录-从中加载数据的目录

recordLength—每条记录的长度(字节)

checkpoint(directory)

将上下文设置为定期检查主容错的数据流操作。图形将在每个批处理间隔被检查。

参数:directory–与HDFS兼容的目录,其中checkpiont数据可以可靠地存储

classmethod getActive()

返回当前活动的StreamingContext(即,如果存在已启动但未停止的context)或者返回无。

classmethod getActiveOrCreate(checkpointPathsetupFunc)

返回激活的StreamingContext(即当前已启动但未停止),或者从检查点数据重新创建StreamingContext,或者使用提供的setupFunc函数创建新的StreamingContext。如果检查点路径为None或不包含有效的检查点数据,则将调用setupFunc以创建新上下文和setup dstream。

参数:checkpointPath–早期流式处理程序中使用的检查点目录。如果目的是在没有活动上下文时始终创建新上下文,则可以为“无”。

setupFunc–创建新的JavaStreamingContext和setup dstream的函数

返回活动的StreamingContext(即当前已启动但未停止),或者从检查点数据重新创建StreamingContext,或者使用提供的setupFunc函数创建新的StreamingContext。如果checkpoint路径为None或不包含有效的checkpoint数据,则将调用setupFunc以创建新上下文和建立 dstream。

参数:checkpointPath–早期流式处理程序中使用的Checkpoint目录。如果目的是在没有活动上下文时始终创建新上下文,则可以为“无”。

classmethod getOrCreate(checkpointPathsetupFunc):

从checkpoint数据重新创建StreamingContext或创建新的StreamingContext。如果提供的checkpoint路径中存在checkpoint数据,则将从checkpoint数据重新创建StreamingContext。如果数据不存在,则将使用提供的setupFunc创建新上下文。

参数:checkpointPath–早期流式处理程序中使用的checkpoint目录

setupFunc–创建新上下文和设置数据流的函数

queueStream(rddsoneAtATime=Truedefault=None)

从RDD或列表队列创建输入流。在每个批处理中,它将处理队列返回的一个或所有RDD。

注意:创建流后对队列的更改将无法识别。

参数:rdds–rdds队列

oneAtATime-每次选择一个rdd或选择所有rdd一次。

default–如果没有更多的rdds,则为默认rdd

remember(duration)

在此上下文中设置每个数据流以记住它在上一个给定持续时间内生成的RDD。数据流只在有限的时间内记住RDD,并释放它们以进行垃圾收集。此方法允许开发人员指定如何长时间记住RDDs(如果开发人员希望在DStream计算之外查询旧数据)。

参数:duration–每个数据流应记住rdds的最小持续时间(秒)

socketTextStream(hostnameportstorageLevel=StorageLevel(TrueTrueFalseFalse2))

从TCP源hostname:port创建输入。使用TCP socket接收数据,并将接收字节解释为UTF8编码的分隔行。

参数:hostname–要连接以接收数据的主机名

端口-用于接收数据的连接端口

Storage level—用于存储接收对象的存储级别

sparkContext

返回与此StreamingContext关联的SparkContext。

start()

开始执行流。

stop(stopSparkContext=TruestopGraceFully=False)

停止流的执行,并选择确保已处理所有接收到的数据。

参数:stopSparkContext–是否停止关联的SparkContext

stopGracefully–通过等待所有接收数据的处理完成而优雅地停止

textFileStream(directory)

创建一个输入流,用于监视与Hadoop兼容的文件系统中的新文件,并将其作为文本文件读取。必须将文件从同一文件系统中的另一个位置“移动”到受监视的目录中。文件名开头。被忽略。

transform(dstreamstransformFunc)

创建一个新的数据流,在其中通过对数据流的RDD应用函数生成每个RDD。转换函数参数中javardds的顺序将与列表中相应数据流的顺序相同。

union(*dstreams)

从相同类型和相同滑动持续时间的多个数据流创建统一的数据流。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容