fai後暫停計劃Azure磚工作……-磚- 10413

Dipesh · ‎01-31-2023

你好,

我有一個預定的工作/工作流在磚每小時後運行。

如何配置我的工作暫停運行失敗,每當工作?(暫停工作/工作流在第一次失敗)

我想避免觸發多個運行由於工作的安排/ un-paused狀態在第一次失敗之後,恢複後的安排問題是固定的。

謝謝你！

shan_chandra · ‎01-31-2023

@Dipesh瑜伽——請參考當前的行為。

當你安排工作流程依賴關係和配置每個工作都有一個任務的依賴task2開始直到task1完成。後續將不會觸發運行下麵的消息

<任務名稱>任務失敗了。這導致所有下遊任務跳過。

以下文檔也解釋了修複和重新運行的工作流功能地址您的特定場景隻有在個體水平運行。

不幸的是,沒有任何機製目前暫停工作流程安排在第一次失敗之後。但是,您可以創建警報在失敗和收到你的電子郵件警報,手動停止。我們將在內部對這個新特性請求暫停時間表,它將基於優先級。謝謝你把這個! ! !

Dipesh · ‎01-31-2023

@Shanmugavel Chandrakasu謝謝你的回應。我們使磚警報,但將是一個問題在周末和假期

也得到更新的數據每次運行後我們維修後運行檢測失敗會導致我們失去了一些數據。

期待這個新特性。

再次感謝。

Hubert_Dudek1 · ‎01-31-2023

你可以使用Rest API工作暫停工作。把它從筆記本當你發現異常。https:// < databricks-instance > / api / 2.1 /工作/更新

{“job_id”: 11223344,“new_settings”:{“時間表”:{“pause_status”:“暫停”}}}

Dipesh · ‎01-31-2023

嗨@Hubert杜德克,謝謝你的建議。

我明白,我們可以使用工作API來改變工作的pasue_status錯誤,但有時我們觀察到工作流/工作失敗由於集群問題(而)創建的集群正在工作和我們的任何代碼之前被執行。在這樣的場景我想知道如果有任何方式自動暫停工作。

磚