MySQL Flink Watermark實現事件時間處理的關鍵技術

目錄

• 1.概述
• 2.SQL案例-演示Watermark為零的情況
• 3.SQL案例-演示Watermark不為零的情況

1.概述

生活中有種場景：

車輛進入隧道，信號不好，出了隧道后，信號就正常了。

正常情況下，車輛進入隧道后，如果車輛正常，沒有事故，會正常駛出隧道。

在正常的隧道行駛過程中，可能會因為信號的原因，導致數據沒有像信號正常的時候那么快到達。

也就是說，這種情況下，數據出現了延遲。我們把這種延遲數據稱之為遲到數據。

生活中，這種場景非常多，比如：車輛進入地下車庫，手機欠費，網絡抖動等。這都屬于生活的正常情況。無法避免。

程序中，一般不會允許數據丟失。所以，我們程序會推出一些機制來保證遲到數據被正常處理。

Watermark就是用來保證正常遲到的數據被正確的處理。

Watermark，也叫水印，或者是水位線。用來處理一定程度下的延遲數據。

2.SQL案例-演示Watermark為零的情況

#1.創建表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval "0" second
) WITH (
  "connector" = "socket",
  "hostname" = "node1", 
  "port" = "9999",
  "format" = "csv"
);
#2.數據查詢SQL
select 
user_id,
count(*) as pv,
sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval "5" second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval "5" second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval "5" second);

3.SQL案例-演示Watermark不為零的情況

Watermark不為零，就有可能是兩種情況：

• 小于0，窗口會提前觸發計算，這種情況在實際應用不存在，所以這里也不討論
• 大于0，窗口會延遲觸發計算，延遲的時間就是我們設置的Watermark的值

這里，我們主要是討論Watermark>0的情況。

#1.創建表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval "2" second
) WITH (
  "connector" = "socket",
  "hostname" = "node1", 
  "port" = "9999",
  "format" = "csv"
);
#2.Watermark的解釋
WATERMARK FOR ts AS ts - INTERVAL "2" SECOND
這里的2，表示，數據允許延遲2秒鐘到達，窗口會在(正常結束+延遲時間)后觸發計算
#3.查詢SQL
select 
user_id,
count(*) as pv,
sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval "5" second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval "5" second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval "5" second);

到此這篇關于MySQL Flink Watermark實現事件時間處理的關鍵技術的文章就介紹到這了,更多相關MySQL Flink Watermark內容請搜索以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持！