MySQL Flink實時流處理的核心技術之窗口機制

目錄

• 1.為什么要學窗口
• 2.Flink中的窗口
• 3.滾動窗口（Tumble）
• 3.1 概念
• 3.2 案例SQL

1.為什么要學窗口

流式計算，一般有兩種場景：

• 無限制的流式計算，比如：wordcount案例，它沒有任何外部的限制條件，這種情況不多。
• 有限制的流式計算，比如：統計早高峰時間內經過某個道路的車輛數。

對于第二種情況來說，我們需要加上額外的限制條件。最常用的限制條件就是時間了。

這個時間段，在程序中，就用一個窗口來表示。

也就是說，窗口的作用：把流式計算轉換為批量計算，窗口是流轉批的一個橋梁。

這就是為什么要學窗口的原因了。

2.Flink中的窗口

在Flink中，窗口可以分為如下幾類：

• 滾動窗口（Tumble）
• 滑動窗口（hop、Slice）
• 會話窗口（session）
• 漸進式窗口（cumulate）
• 聚合窗口（over）

3.滾動窗口（Tumble）

3.1 概念

滾動窗口 ：窗口大小 = 滾動距離（時間間隔）

特點：上一個窗口的結束就是下一個窗口的開始，數據不重復、也不丟失。

3.2 案例SQL

#1.創建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval "0" second
) WITH (
  "connector" = "socket",
  "hostname" = "node1",
  "port" = "9999",
  "format" = "csv"
);
#2.語法
tumble(事件時間列,窗口大小)
窗口大小是用戶自定義的。比如30分鐘、1小時等。
直接把tumble窗口放在group by語句后即可。
比如：tumble(row_time,interval "5" second)
含義：定義一個5秒大小的滾動窗口。
#3.數據處理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval "5" second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval "5" second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval "5" second);

到此這篇關于MySQL Flink實時流處理的核心技術之窗口機制的文章就介紹到這了,更多相關MySQL Flink窗口機制內容請搜索以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持！