最佳實踐:池

集群提供計算資源和配置,運行您的筆記本電腦和工作。由雲提供商提供集群上運行實例。磚平台提供了一個有效的和具有成Beplay体育安卓版本本效益的方式來管理你的分析基礎設施。本文將展示如何解決以下問題在創建新集群或擴大現有集群:

磚池減少集群啟動和擴大時間通過維護一組可用的,現成的實例。

您可以使用不同的池司機節點和工作節點。

介紹池和配置建議,看下麵的視頻:

如以下圖所示,當集群連接池需要一個實例,它首先試圖分配一個可用池的實例。如果池中沒有可用的實例,它擴展分配一個新實例從雲提供商,以適應集群的請求。集群釋放一個實例時,實例返回到池和免費使用由另一個集群。隻有集群連接池可以使用可用池的實例。

本文討論以下最佳實踐,以確保最佳的性能在最低成本當你使用池:

創建基於工作負載池

如果你的驅動節點和工人節點有不同的要求,創建一個不同的池。

您可以最小化實例收集時間通過創建一個為每個實例池類型和磚通常運行時您的組織使用。例如,如果大多數數據工程集群使用實例類型,數據科學集群使用實例類型B, C和分析集群使用實例類型,創建一個與每個實例池類型。

配置池使用隨需應變的實例執行時間和嚴格的執行時間較短的工作要求。使用隨需應變的實例來防止實例獲得了更高的投標人在現貨市場。

配置池使用現貨實例集群支持交互式開發或在可靠性工作優先考慮節約成本。

標簽池到正確的成本中心允許您管理成本和使用退款。您可以使用多個自定義標記關聯多個成本中心池。然而,重要的是要了解如何創建集群時傳播標記從池。如以下圖所示,標簽從池傳播到底層雲提供者實例,但集群的標簽沒有。應用所有自定義標記管理雲提供商的退款需要計算成本池。

池標簽和集群標簽傳播磚計費。您可以使用集群和池標記的組合管理磚單位的退款。

您可以使用以下配置選項來幫助控製成本池:

設置最小空閑實例為0,以避免支付運行的實例,不工作。權衡可能增加時間當一個集群需要獲得一個新實例。
設置空閑實例自動終止時間之間提供一個緩衝釋放集群實例時,當它從池中下降。設置這一段時間,可以讓你最大限度地降低成本同時確保實例的可用性計劃工作。例如,工作定於早上8點運行,需要40分鍾才能完成。工作B定於上午9點運行,需要30分鍾才能完成。空閑實例自動終止值設置為20分鍾,以確保實例返回到池中當工作完成工作B開始時是可用的。除非他們聲稱由另一個集群,這些實例終止工作B結束後20分鍾。
設置最大容量基於預期使用。這集的最大數量的上限和空閑實例池中使用。如果工作或集群從池中請求一個實例在其最大容量,請求失敗,和集群不會獲得更多的實例。因此,磚建議您設置最大容量隻有一個嚴格的配額或預算約束實例。

為了完全從池中獲益,您可以預先新建的遊泳池。設置最小空閑池中大於零配置實例。或者,如果你建議這個值設置為0後,使用起動機的工作來確保新創建池可用實例集群訪問。

使用起動機的工作方法,與靈活的執行時間要求安排工作之前運行工作與更嚴格的性能要求或在用戶開始使用交互式集群。工作完成後,用於工作的實例被釋放回池中。集最小空閑實例設置為0和設置空閑實例自動終止時間足夠高,以確保空閑實例仍然可以進行後續工作。

使用起動機的工作允許池實例自旋向上,填充池,並保持用於下遊工作或互動集群。

了解更多關於磚池。