Side Output 功能从 Flink 1.3.0 版本开始提供,FLINK-4460
除了从 DataStream 操作的结果中获取主数据流之外,还可以产生任意数量额外的旁路输出(side output)结果流。旁路输出的数据类型不需要与主数据流的类型一致,不同旁路输出的类型也可以不同。当你想要拆分数据流时(通常需要复制流),然后从每个流过滤出不需要的数据,此操作将非常有用。
当使用旁路输出时,首先需要定义一个 OutputTag
对象,用来标识一个旁路输出流:
// 这需要是一个匿名的内部类,以便我们分析类型
OutputTag<String> outputTag = new OutputTag<String>("side-output") {};
注意 OutputTag
是如何根据旁路输出流所包含的元素类型进行类型化的。可以通过以下函数将数据发送到旁路输出:
- ProcessFunction(1.3.x)
- KeyedProcessFunction(1.8.x)
- CoProcessFunction(1.4.x)
- KeyedCoProcessFunction(1.9.x)
- ProcessWindowFunction(1.4.x)
- ProcessAllWindowFunction(1.4.x)
可以使用 Context
(在上述函数中会向用户提供使用)将数据发送到由 OutputTag
标识的旁路输出。下面的例子是在 ProcessFunction
中发出旁路输出数据:
DataStream<Integer> input = ...;
final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
SingleOutputStreamOperator<Integer> mainDataStream = input
.process(new ProcessFunction<Integer, Integer>() {
@Override
public void processElement(
Integer value,
Context ctx,
Collector<Integer> out) throws Exception {
// 发送数据到主要的输出
out.collect(value);
// 发送数据到旁路输出
ctx.output(outputTag, "sideout-" + String.valueOf(value));
}
});
要获取旁路输出流,可以在 DataStream 上调用 getSideOutput(OutputTag)
来获取,如下面的例子:
final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
SingleOutputStreamOperator<Integer> mainDataStream = ...;
DataStream<String> sideOutputStream = mainDataStream.getSideOutput(outputTag);