使用jobs API 2.1迭代工作空間中的所有作業

使用Jobs API 2.1來遍曆和顯示工作區中的作業列表。

寫的debayan.mukherjee

最後發布日期:2022年10月28日

在Databricks Jobs API 2.0中(AWS|Azure|GCP）列表返回無限數量的職位描述。

在Jobs API 2.1中(AWS|Azure|GCP)，這種行為已經改變。的列表Command現在一次最多返回25個作業，從最新的到最舊的。

在本文中，我們將向您展示如何手動遍曆工作區中的所有作業。

指令

1)確定工作空間中工作的總數

  1. 點擊工作流在側欄中。
  2. 滾動到頁麵底部。
  3. 工作區中的作業總數列在右下方。

2)確定要使用的值抵消而且限製

的列表Command有兩個修飾符，限製而且抵消．抵消確定在顯示第一個作業之前跳過的作業數。限製確定顯示的作業數量(最多25個)。通過同時使用這些命令，您可以從總數中顯示特定的作業。

例如，如果工作區中總共有20個作業，而您指定了一個限製10和a抵消為0,列表返回作業1-10(最近創建的10個作業，而不是最近運行的作業)。或者，如果指定了限製10和a抵消10、列表返回任務11-20。

您應該考慮工作空間中的作業總數，並為其選擇值限製而且抵消這允許您輕鬆地遍曆作業總數。

3)迭代工作

您需要遍曆作業總數。對於本文，我們將遍曆筆記本中的所有作業，使用旋度訪問API。我們假設作業列表很大，並且一次最多顯示25個作業。

檢討使用Databricks個人訪問令牌的身份驗證(AWS|Azure|GCP)文件，以了解更多關於創建和使用個人訪問令牌的信息。

%sh curl——location——header 'Authorization: holder '——request GET / 'https://< databics -instance>/api/2.1/jobs/list?限製= 25抵消= 0


第一次運行使用限製= 25抵消= 0所以它從1-25返回工作。

如果我們改變抵消值為25並再次運行該命令，將返回job 26-50。

改變了抵消值為50返回51-75個作業。

您可以繼續遍曆作業總數，每次顯示25個作業，直到顯示所有作業。

4)使用金橋篩選結果

刪除

信息

金橋可以描述為"sedJSON數據”。您可以使用它來切片、篩選、映射和轉換結構化數據。

你可以使用金橋以幫助過濾特定的結果。例如，如果您將您的列表請求通過金橋的。deb，它返回帶有鍵值的對象黛比．

%sh curl——location——header 'Authorization: holder '——request GET 'https://< databics -instance>/api/2.1/jobs/list?Limit =25&offset=0' | jq '.deb'


使用時可以包含多個鍵金橋．例如,Jq '.deb， .last_updated'返回帶有兩個鍵值的作業。

%sh curl——location——header 'Authorization: holder '——request GET 'https://< databics -instance>/api/2.1/jobs/list?Limit =25&offset=0' | jq '.deb， .last_updated '


這篇文章有用嗎?