最佳實踐:集群策略

嚴格的環境

在用戶沒有權限創建集群的環境中，首先推出限製策略，並為用戶製定支持計劃。實施計劃可以是基於計算機的培訓、研討會或文檔。為用戶提供關於配置集群的最佳實踐的指導將提高他們充分利用平台的能力。Beplay体育安卓版本當用戶表現出對平台的遵從性和能力時，政策可以放鬆。Beplay体育安卓版本

不受限製的環境

在不受限製的環境中應用策略可能更具挑戰性。一些現有的用例和集群幾乎總是不受新策略的約束，因此在測試或軟推出階段識別這些用例和集群是至關重要的。

擁有集群創建權限或對無限製策略的訪問權限的用戶將在整個軟推出過程中保持對該策略的訪問權限，以確保所有工作負載繼續正常工作。用戶應該使用軟推出，用將提供給他們的新策略來測試他們的所有工作負載。

一定要給用戶一個提交關於策略反饋的地方。當出現問題時，與用戶一起改進策略或定義新策略。

挑戰

用戶可以自由地創建集群，沒有機製強製他們應用所需的標記。

解決方案

1. 撤銷集群創建權限從用戶。

2. 向任何適用的集群策略添加集群標記規則。將群集標記規則添加到策略中custom_tags。<標記名稱>屬性。該值可以是an下的任何值無限的政策，或者可以用固定，允許列表，塊列表，正則表達式,或範圍政策。例如，為了確保正確的退款和成本歸屬，執行一項COST_CENTER標記在每個策略上，限製為允許的成本中心值列表:

   ｛“custom_tags。COST_CENTER”：｛“類型”：“allowlist”，“價值觀”：［“9999”，“9921”，“9531”]}}

   任何使用此策略的用戶都必須填寫COST_CENTER標記為9999、9921或9531，用於啟動集群。

3. 將集群策略分配給應該能夠向這三個成本中心收費的用戶。可以在用戶或組級別通過集群政策UI或集群策略API添加或修改權限端點。下麵的示例請求體將一個策略分配給銷售部門:

   ｛“access_control_list”：［｛“user_name”：“user@mydomain.com”，“all_permissions”：［｛“permission_level”：“CAN_USE”｝］}，｛“group_name”：“銷售”，“all_permissions”：［｛“permission_level”：“CAN_USE”｝］｝］｝

挑戰

用戶不熟悉集群或雲基礎設施的供應，或者對集群創建選項感到不知所措。

解決方案

使用集群策略定義“t恤”大小的集群配置，例如小型、中型或大型集群。

1. 為每個t恤尺寸創建一個策略。t恤大小策略向用戶指示相對的集群大小，可以是靈活的模板，也可以是零選項配置。零期權或低期權政策通常會有固定還有隱藏的政策規則。下麵的示例為對象定義了一個DBR 7.3固定值的策略spark_version．設置隱藏的標誌為true將確保此選項對用戶不可見。

   ｛“spark_version”：｛“類型”：“固定”，“價值”：“7.3.x-scala2.12”，“隱藏”：真正的}}

   在定義靈活的模板時，可以使用範圍，塊列表，塊列表，正則表達式,無限的政策策略來設置上邊界、非可選字段和半受限策略元素。下麵的示例定義了一個策略，該策略支持將節點自動擴展到最多25個節點。您可以使用這個定義來設置每個t恤尺寸的上限，同時提供一些靈活性。要查看集群模板方法的更多詳細信息，請參見過度的資源使用情況．

   ｛“autoscale.max_workers”：｛“類型”：“範圍”，“執行”：“25”，“defaultValue”：5}}

2. 將策略分配給應該被允許創建t恤大小集群的用戶。可以通過集群策略UI或集群策略權限API在用戶或組級別分配策略。例如，通過UI將此策略分配給所有用戶:

   1. 進入集群策略並選擇編輯．

   2. 選擇權限選項卡。

   3. 選擇所有用戶選擇下組下拉。

      

3. 從必須隻使用這些新策略的組撤銷對不受限製策略的訪問權。一旦使用了集群策略，擁有“集群創建”權限的用戶就可以訪問不受限製的策略。對於不應該擁有該權限的用戶，撤銷該權限非常重要。

   要取消集群創建權限，請參見配置集群創建權限．

挑戰

一些工作負載或分析與現有策略不兼容，或者用戶不知道某些工作負載類型的正確集群配置。

解決方案

如果您發現工作負載不能很好地與現有的策略配合，通常最好是創建專門針對這些工作負載的新策略，而不是擴展現有的策略。

為了幫助用戶使用這些策略創建集群，它可以幫助創建針對特定用例調優的策略。為這些策略指定描述性名稱，以幫助用戶識別它們。例如，如果工作負載將查詢支持謂詞下推的數據源，那麼最佳實踐是構建一個特定的策略，以較低或零工作者最小值強製自動伸縮。該策略將確保在等待數據源計算查詢的下推組件時，雲提供商和Databricks的成本不會不必要地增加。

1. 創建一個強製使用特定於案例的最佳實踐的策略。這個例子定義了一個固定值為的策略0對於最低工人數量。此策略還強製集群將自動伸縮，以滿足謂詞下推示例的最佳實踐。

   ｛“autoscale.min_workers”：｛“類型”：“固定”，“價值”：“0”，“隱藏”：假}}

2. 將策略分配給需要為這些用例構建集群的用戶。可以在用戶或組級別上分配策略集群政策UI或者是集群策略權限API．例如，要通過UI將此策略分配給數據科學家組:

   1. 進入集群策略並選擇編輯．

   2. 選擇權限選項卡。

   3. 中選擇團隊的名稱，即可將策略分配給特定團隊選擇用戶或組下拉。

      

挑戰

用戶正在創建不必要的大型集群，消耗過多且昂貴的資源。這通常是由:

• 未能激活自動縮放。

• 自動終止窗口使用錯誤。

• 最小工作節點數高。

• 昂貴的實例類型。

解決方案

將集群策略與內部審批流程相匹配，將支持對資源的控製，同時在必要時提供對大型計算資源的訪問。

1. 建立一個審查流程，以授予對更大或更靈活的政策的訪問權。審查過程應該有一個收集信息的入口表單，該表單支持更大或更靈活的集群配置的需求。平台所有Beplay体育安卓版本權團隊應該評估這些信息，以決定如何支持工作負載需求。下圖展示了一個使用t恤尺寸的審批流程示例:

   

2. 用更少的約束創建更靈活的策略，並專注於控製像標簽這樣的治理項目。一個靈活政策的例子:

   ｛“autoscale.min_workers”：｛“類型”：“範圍”，“執行”：20.，“defaultValue”：2}，“autoscale.max_workers”：｛“類型”：“範圍”，“執行”：One hundred.，“defaultValue”：8}，“autotermination_minutes”：｛“類型”：“範圍”，“執行”：120，“defaultValue”：60}，“node_type_id”：｛“類型”：“過濾清單”，“價值觀”：［“z1d.12xlarge”，“z1d.6xlarge”，“r5d.16xlarge”，“r5a.24xlarge”，“c5.24xlarge”),“defaultValue”：“i3.xlarge”}，“driver_node_type_id”：｛“類型”：“過濾清單”，“價值觀”：［“z1d.12xlarge”，“z1d.6xlarge”，“r5d.16xlarge”，“r5a.24xlarge”，“c5.24xlarge”),“defaultValue”：“i3.xlarge”}，“spark_version”：｛“類型”：“固定”，“價值”：“7.3 -scala2.12”，“隱藏”：真正的}，“enable_elastic_disk”：｛“類型”：“固定”，“價值”：真正的，“隱藏”：真正的}，“custom_tags.team”：｛“類型”：“固定”，“價值”：“產品”｝｝

   該策略提供了靈活性，允許用戶:

   • 從一係列實例類型中進行選擇，而不是少數過於昂貴的實例類型。

   • 配置最多100節點的集群。

   • 設置自動終止時間為120分鍾。

   它還設定了合理的限製，並通過以下方式確保治理:

   • 為這個團隊強製執行一個標簽。

   • 需要自動定量。

   • 啟用彈性盤自動伸縮功能。

   • 指定Databricks運行時版本。

   對於需要在各種集群配置上調優作業的更有經驗的用戶來說，該策略非常理想，它是將策略與審批流程關聯起來的一個很好的示例。

3. 記錄升級和審批過程，並與用戶共享。發布關於識別可能需要更大靈活性或更大集群的工作負載類型的指導也很有幫助。

4. 一旦用戶被批準，將策略分配給他們。可以在用戶或組級別通過集群政策UI或者通過向集群策略權限API：

   ｛“access_control_list”：｛“user_name”：“users_email@yourdomain.com”，“permission_level”：“CAN_USE”｝｝