理解Flink支持高度灵活的窗口事件

2020-07-06 09:41发布

在流处理应用中,数据是连续不断的,需要通过窗口的方式对流数据进行一定范围的聚合计算------例如统计在过去一分钟内有多少用户点击某一个网页,在这种情况下,我们必须定义一个窗口,用来收集最近一分钟内的...

在流处理应用中,数据是连续不断的,需要通过窗口的方式对流数据进行一定范围的聚合计算

------

例如统计在过去一分钟内有多少用户点击某一个网页,在这种情况下,我们必须定义一个窗口,用来收集最近一分钟内的数据

并对这个窗口内的数据进行再计算

Flink将窗口划分为基于Time、Count、Session,以及Data-Driven等类型的窗口操作,窗口可以用灵活的触发条件定制化来达到对复杂的流传输模式的支持

用户可以定义不同的窗口触发机制来满足不同的需求

1条回答
魏魏姐
2021-01-08 10:36

仔细看Flink中watermark,它能解决数据乱序的问题,想简单易懂的理解这个原理机制,可以参考spark中结构化流对watermark的描述,这一点要比flink中描述的更清楚,更形象化!

一周热门 更多>