由於集群管理器核心實例請求限製,作業失敗

了解如何排除與API速率限製相關的Databricks錯誤。

寫的亞當Pavlacka

最後發布時間:2022年3月4日

問題

Databricks Notebook或Job API返回以下錯誤:

為作業創建集群時發生意外故障。由於API速率限製,請求被拒絕。請稍後重試請求,或選擇更大的節點類型。

導致

此錯誤指示群集管理器服務核心實例請求限製被超過。

一個Cluster Manager核心實例最多可以支持1000個請求。

解決方案

聯係Databricks Support以增加在核心實例中設置的限製。

數據庫可以增加作業限製maxBurstyUpsizePerOrg直到2000年,和upsizeTokenRefillRatePerMin高達120。當限製增加時,當前運行的作業將受到影響。

增加這些值可以解決節流問題,但也會導致CPU使用率高。

此問題的最佳解決方案是將Cluster Manager核心實例替換為支持最大數據傳輸速率的更大實例。

Databricks Support可以將當前的Cluster Manager實例類型更改為更大的實例類型。