抓住一個筆記本失敗時在螺紋平行筆記本運行和終止命令

[cmilligan]

我有一個命令運行筆記本使用線程並行。我想要的命令失敗時一個筆記本運行失敗。現在隻是繼續運行該命令。

下麵是我目前運行的命令行:

q =隊列()worker_count = 3 def run_notebook(筆記本):打印(筆記本)dbutils.notebook.run(筆記本,30日{“begin_date”: begin_date,“end_date”: end_date}) def run_tasks(函數q):雖然不是q.empty (): value = q.get()函數(值)q.task_done () x範圍(len (notebook_steps)):在notebook_steps x [x]: q.put (x)我的範圍(worker_count): t =線程(目標= run_tasks args = (run_notebook q)) t。q.join守護進程= False t.start () ()

[Kaniz · Accepted solution]

嗨@Coleman Milligan,

您可以運行多個並行Azure磚筆記本使用dbutils圖書館。

在這裏是一個python代碼的基礎上,從Azure磚文檔的示例代碼嗎同時運行的筆記本和筆記本的工作流額外的參數化,重試邏輯和錯誤處理。

注意,所有孩子的筆記本將共享資源在集群上,這可能會導致瓶頸和失敗資源爭用。它可能是更好的運行在其專用集群使用並行工作喬布斯API。