取消
顯示的結果
而不是尋找
你的意思是:

抓住一個筆記本失敗時在螺紋平行筆記本運行和終止命令

cmilligan
因素二世

我有一個命令運行筆記本使用線程並行。我想要的命令失敗時一個筆記本運行失敗。現在隻是繼續運行該命令。

下麵是我目前運行的命令行:

q =隊列()worker_count = 3 def run_notebook(筆記本):打印(筆記本)dbutils.notebook.run(筆記本,30日{“begin_date”: begin_date,“end_date”: end_date}) def run_tasks(函數q):雖然不是q.empty (): value = q.get()函數(值)q.task_done () x範圍(len (notebook_steps)):在notebook_steps x [x]: q.put (x)我的範圍(worker_count): t =線程(目標= run_tasks args = (run_notebook q)) t。q.join守護進程= False t.start () ()

1接受解決方案

接受的解決方案

Kaniz
社區經理
社區經理

嗨@Coleman Milligan,

您可以運行多個並行Azure磚筆記本使用dbutils圖書館。

在這裏是一個python代碼的基礎上,從Azure磚文檔的示例代碼嗎同時運行的筆記本筆記本的工作流額外的參數化,重試邏輯和錯誤處理。

注意,所有孩子的筆記本將共享資源在集群上,這可能會導致瓶頸和失敗資源爭用。它可能是更好的運行在其專用集群使用並行工作喬布斯API

在原帖子查看解決方案

1回複1

Kaniz
社區經理
社區經理

嗨@Coleman Milligan,

您可以運行多個並行Azure磚筆記本使用dbutils圖書館。

在這裏是一個python代碼的基礎上,從Azure磚文檔的示例代碼嗎同時運行的筆記本筆記本的工作流額外的參數化,重試邏輯和錯誤處理。

注意,所有孩子的筆記本將共享資源在集群上,這可能會導致瓶頸和失敗資源爭用。它可能是更好的運行在其專用集群使用並行工作喬布斯API

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map