如何停止流工作基於時間的

[nolanlavender00]

我有一個不間斷工作集群觸發火花流工作。我想停止這種流表維護工作一周一次運行。我是想要利用foreachBatch函數相應的檢查條件和停止工作。

[Kaniz]

嗨@Nolan薰衣草!我的名字叫Kaniz,和我是一個技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

[User16869509900 · Accepted solution]

你好@Nolan薰衣草,例如如果想停止流周六,你可以像下麵。下麵隻是一個偽代碼。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(date_format (current_timestamp (),“u”) = = 6){/ /運行命令保持表}

或者,您可以計算大約有多少微批次加工一周然後你可以定期停止流工作。如果你的流媒體處理100 microbatches一周,然後你就可以做一些像下麵。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(batchId % 101 = = 0){/ /運行命令保持表}

[Kaniz]

嗨@Nolan薰衣草,情況怎麼樣?

你能夠解決你的問題嗎?