跳過任務沒有旋轉的集群

[Dave_Nithio]

我有一個工作流程與多個順序執行R或Python腳本的任務。目前,我們可以跳過這些任務(如果它已經運行)通過一個參數並通過腳本跳過。這需要一個完整的自旋向上的計算資源跳過這個任務雖然通常需要大約8 - 10分鍾。為多個任務這導致大量的浪費時間和旋轉的任務不需要的計算資源。有沒有更好的方法,跳過一個任務刷新?

[匿名]

@Dave威爾遜:

是的,有一些方法可以優化你的工作流程,以避免不必要的計算資源旋轉和浪費時間當跳過任務已經運行:

1. 為完成任務:實現一個檢查,而不是依靠一個參數傳遞給腳本,您可以實現一個檢查在您的工作流任務完成。例如,您可以使用一個數據庫或文件係統來跟蹤完成任務,和您的工作流可以查詢這些信息來確定哪些任務需要運行。這可以幫助避免不必要的計算資源旋轉。
2. 使用緩存:根據任務的性質,你可以實現緩存來避免重新執行的任務已經運行。例如,如果你的任務涉及到處理數據,你可以將處理過的數據存儲在緩存和重用在隨後的執行。這可以幫助減少計算資源旋轉和整體執行時間。
3. 實現條件執行:一些工作流引擎支持有條件執行,它允許您跳過任務基於某些條件。例如,您可以指定一個任務隻能執行一個文件是否存在或如果是滿足一定條件。這可以幫助避免不必要的計算資源旋轉和執行時間。
4. 使用一個任務隊列:一個任務隊列可以幫助優化您的工作流通過允許您排隊任務並執行資源可用。這可以幫助避免不必要的旋轉的計算資源,確保以最有效的方式執行任務。

通過實現一個或多個這些方法,你可以幫助優化工作流程,避免不必要的計算資源旋轉和浪費時間當跳過已經運行的任務。

[Vidula_Khanna]

嗨@Dave威爾遜

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!