流和runOnce groupBy窗口查詢

[待會]

我有一個流媒體工作運行groupBy查詢3天的一個窗口。查詢正在尋找不同類型的事件。

流配置了runOnce定於每小時有一份工作。

現在,我每次都是處理不確定數據流觸發,如果隻有一個新的事件還有其他相關事件的窗口時間但事件已經處理過的在前麵跑。它是隻看新數據?或全部查詢的相關數據在窗口嗎?

[Hubert_Dudek1]

在我看來groupBy流一次隻會為新數據將使用抵消從檢查站和舊數據將不可用。

[jose_gonzalez]

嗨@itay k,

你需要看一看記者的進展。這將顯示Micro-batch JSON指標。例如,指標稱為“numInputRows”將顯示輸入的行數,micro-batch處理。你會發現這些指標的驅動程序- - > log4j日誌

此外,本文將展示這些流指標均值和如何訪問/視圖//www.eheci.com/blog/2020/07/29/a-look-at-the-new-structured-streaming-ui-in-apache-spark-3-0..。