我想要運行一個流工作從早晨6。到晚上5便士。在磚m我怎麼安排這個窗口。或你如何阻止我流下午5點?

[Sandeep]

如果你正在尋找一個優雅的停止(不停止在5但停止後在進步的micro-batch 5點而不是突然停止流),你可以試試下麵的。缺點是如果微批時間高,流停止將推遲。

進口java.time。LocalTime val queryStopListner = new StreamingQueryListener(){覆蓋def onQueryStarted (queryStarted: StreamingQueryListener.QueryStartedEvent):單位={}覆蓋def onQueryTerminated (queryTerminated: StreamingQueryListener.QueryTerminatedEvent):單位={}覆蓋def onQueryProgress (queryProgress: StreamingQueryListener.QueryProgressEvent):單位= {val id = queryProgress.progress。id如果(LocalTime.now () .isAfter (LocalTime.parse (“17:00:00”))) {val currentStreamingQuery = spark.streams.get currentStreamingQuery (id)。停止}}}/ /這個查詢listner添加到會話spark.streams.addListener (queryStopListner)

[DimaP]

可能有人知道將會發生什麼如果我在工作流任務超時設置為流媒體工作嗎?

[馬爾卡]

如果你流三角洲,不多,微一批將在下一次失敗,流將從去年成功寫(由於酸)。我不知道其他格式,如果流在微批中期流產。