問題
Databricks Notebook或Job API返回以下錯誤:
為作業創建集群時發生意外故障。由於API速率限製,請求被拒絕。請稍後重試請求,或選擇更大的節點類型。
導致
此錯誤指示群集管理器服務核心實例請求限製被超過。
一個Cluster Manager核心實例最多可以支持1000個請求。
解決方案
聯係Databricks Support以增加在核心實例中設置的限製。
數據庫可以增加作業限製maxBurstyUpsizePerOrg直到2000年,和upsizeTokenRefillRatePerMin高達120。當限製增加時,當前運行的作業將受到影響。
增加這些值可以解決節流問題,但也會導致CPU使用率高。
此問題的最佳解決方案是將Cluster Manager核心實例替換為支持最大數據傳輸速率的更大實例。
Databricks Support可以將當前的Cluster Manager實例類型更改為更大的實例類型。