Delta緩存在自動伸縮集群上的行為如何

了解Delta緩存在自動伸縮集群上的行為。

寫的亞當Pavlacka

最後發布日期:2022年5月10日

本文是關於Delta緩存(AWS|Azure|GCP)在自動伸縮集群上運行,該集群根據需要移除或添加節點。

  • 當集群縮減規模並終止節點時:

    Delta緩存的行為方式與RDD緩存相同。每當一個節點宕機,該特定節點中的所有緩存數據都會丟失。增量緩存數據不會從丟失的節點移動。

  • 當集群擴容並增加新節點時:

    當集群添加新節點時,數據不會在緩存之間移動。當應用程序下次再次訪問數據或表時,丟失的數據將被重新緩存。