問題
Databricks筆記本或Jobs API請求返回以下錯誤:
錯誤:{"error_code":"INVALID_STATE","message":"在過去3600秒內已經創建了1000個工作,超過了速率限製:每3600秒創建1000個工作。"}
導致
發生此錯誤是因為每小時的作業數量超過了Databricks為防止API濫用和確保服務質量而建立的1000個限製。
解決方案
如果不能確保在工作空間中創建的作業數小於每小時1000個,請與Databricks Support聯係以請求更高的限製。提高作業速率限製需要至少20分鍾的停機時間。
- 數據庫可以將job limit maximumJobCreationRate提高到2000。
- 限製增加時,當前正在運行的作業將受到影響。