取消
顯示的結果
而不是尋找
你的意思是:

如何停止流工作基於時間的

nolanlavender00
新的因素

我有一個不間斷工作集群觸發火花流工作。我想停止這種流表維護工作一周一次運行。我是想要利用foreachBatch函數相應的檢查條件和停止工作。

1接受解決方案

接受的解決方案

User16869509900
價值貢獻

你好@Nolan薰衣草,例如如果想停止流周六,你可以像下麵。下麵隻是一個偽代碼。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(date_format (current_timestamp (),“u”) = = 6){/ /運行命令保持表}

或者,您可以計算大約有多少微批次加工一周然後你可以定期停止流工作。如果你的流媒體處理100 microbatches一周,然後你就可以做一些像下麵。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(batchId % 101 = = 0){/ /運行命令保持表}

在原帖子查看解決方案

3回複3

Kaniz
社區經理
社區經理

嗨@Nolan薰衣草!我的名字叫Kaniz,和我是一個技術主持人。很高興認識你,謝謝你的問題!看看你的同行在論壇上先回答你的問題。否則我們將很快跟進與回複。

User16869509900
價值貢獻

你好@Nolan薰衣草,例如如果想停止流周六,你可以像下麵。下麵隻是一個偽代碼。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(date_format (current_timestamp (),“u”) = = 6){/ /運行命令保持表}

或者,您可以計算大約有多少微批次加工一周然後你可以定期停止流工作。如果你的流媒體處理100 microbatches一周,然後你就可以做一些像下麵。

.foreachBatch {(batchDF: DataFrame batchId:長)= >

如果(batchId % 101 = = 0){/ /運行命令保持表}

Kaniz
社區經理
社區經理

嗨@Nolan薰衣草,情況怎麼樣?

你能夠解決你的問題嗎?

Baidu
map