作業速率限製導致作業失敗

了解如何解決由於作業速率限製導致的Databricks作業失敗。

寫的亞當Pavlacka

最後發布日期:2022年5月10日

問題

Databricks筆記本或Jobs API請求返回以下錯誤:

錯誤:{"error_code":"INVALID_STATE","message":"在過去3600秒內已經創建了1000個工作,超過了速率限製:每3600秒創建1000個工作。"}

導致

發生此錯誤是因為每小時的作業數量超過了Databricks為防止API濫用和確保服務質量而建立的1000個限製。

解決方案

如果不能確保在工作空間中創建的作業數小於每小時1000個,請與Databricks Support聯係以請求更高的限製。提高作業速率限製需要至少20分鍾的停機時間。

  • 數據庫可以將job limit maximumJobCreationRate提高到2000。
  • 限製增加時,當前正在運行的作業將受到影響。