池最大容量和集群馬克斯工人

[EDDatabricks]

你好,

我們有一個磚實例在Azure上的計算集群LTS 7.3版本。

目前集群有4個max工人(min工人:1)類型:Standard_D13_v2和1相同類型的驅動程序。有幾個工作在這個集群上運行。

我們正在考慮使用實例池來提高集群的初始spinup時間。如果我們設置水池容量馬克斯2我明白如果集群試圖增加到4馬克斯工人將失敗並沒有增加。

看到的:https://learn.microsoft.com/en-gb/azure/databricks/clusters/instance-pools/configure。

最大容量的最大實例數池將提供。如果設置,這個值約束所有實例(閑置+使用)。如果一個集群使用在自動定量實例池請求超過這個數字,與一個INSTANCE_POOL_MAX_CAPACITY_FAILURE錯誤請求將失敗。

另一位同事告訴我,集群將會增加到4工作節點,隻是以較慢的開始時間(本質上作為池不存在隻對那些工人)。你能請告知嗎?

此外,上麵的例子中,為了適應當前設置的4馬克斯工人和1司機,我們會需要設置的最大能力5包括4工人+ 1司機。你能請確認我的理解還是我遺漏了什麼東西?

[Lakshay · Accepted solution]

嗨@EDDatabricks EDDatabricks,如果你設置池的最大容量,然後池將無法自動定量超過5實例。同時,馬克斯池容量總數的實例包括司機和工人。所以,5實例將意味著4工人和1司機。

不過話雖如此,你不一定需要配置一個池的最大容量。這將允許池把盡可能多的實例。最大容量的目的是確保池不創建超過一定確保實例池不成本超過預期。

[Vidula_Khanna]

嗨@EDDatabricks EDDatabricks

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!

[EDDatabricks]

你好,謝謝你的回答!明顯。