動態分配和集群自動伸縮

[User16869510359]

集群如何伸縮在磚與動態分配不同的紗線嗎

[User16869510359 · Accepted solution]

動態分配是一個火花特性獨家紗。動態分配是懶惰的執行者,而不是推諉。外部洗牌服務強製使用動態分配,因為這個原因。

磚伸縮慢慢意識到,不需要外部轉移服務。該算法用於擴大和縮小的是非常有效的。同時,磚的伸縮提供配置用戶控製伸縮的攻擊性不可用紗。

[osr2020]

“洗牌意識”是什麼意思在這種背景下,為什麼磚不需要外部洗牌服務規模上下?

[shan_chandra]

額外的讀取相同的主題:

//www.eheci.com/blog/2018/05/02/introducing-databricks-optimized-auto-scaling.html

https://spark.apache.org/docs/latest/job-scheduling.html dynamic-resource-allocation