創建池
本文描述了如何使用UI創建池。要了解如何使用Databricks CLI創建池,請參見實例池命令行.要了解如何使用REST API創建池,請參見實例池API 2.0.
需求
您必須具有創建資源池的權限;看到池訪問控製.
將集群綁定到池
將集群附加到池上集群創建界麵,從驅動程序類型或工作類型配置集群時的下拉列表。每個下拉列表的頂部列出了可用的池。您可以為驅動節點和工作節點使用相同或不同的池。
如果你使用集群API,您必須指定driver_instance_pool_id
為驅動節點和instance_pool_id
對於工作節點。
池大小和自動終止
在創建池時,為了控製池的大小,可以設置三個參數:最小空閑實例、最大容量和空閑實例自動終止。
最大容量
池可以提供的最大實例數。如果設置,此值將受到限製所有實例(空閑+使用)。如果使用池的集群請求的實例數量超過此數量自動定量,請求失敗,並返回INSTANCE_POOL_MAX_CAPACITY_FAILURE
錯誤。
這個配置是可選.Databricks建議僅在以下情況下設置該值:
您有一個實例配額必須保持下。
您希望保護一組工作不影響另一組工作。例如,假設您的實例配額為100,並且您的團隊A和團隊B需要運行作業。您可以創建最多50人的池A和最多50人的池B,以便兩個團隊公平地共享100人的配額。
你需要限製成本。
實例類型
池包括為新集群準備的空閑實例和正在運行的集群使用的實例。所有這些實例都是相同的實例提供程序類型,在創建池時選擇。
不能編輯池的實例類型。連接到池的集群對驅動程序和工作節點使用相同的實例類型。不同的實例類型家族適合不同的用例,例如內存密集型或計算密集型工作負載。
Databricks總是在停止支持實例類型之前提供一年的棄用通知。
預加載Databricks運行時版本
可以通過選擇將Databricks Runtime版本加載到池中的空閑實例上來加速集群啟動。如果用戶在創建由池支持的集群時選擇該運行時,那麼該集群將比不使用預加載Databricks runtime版本的池支持集群啟動得更快。
將此選項設置為沒有一個降低集群啟動速度,因為這會導致Databricks運行時版本按需下載到池中的空閑實例。當集群釋放池中的實例時,Databricks運行時版本仍然緩存在這些實例上。下一個使用相同Databricks Runtime版本的集群創建操作可能會受益於此緩存行為,但不能保證。
池標簽
池標記允許您監視組織中各個組使用的雲資源的成本。
的磚計費使用圖表在帳戶控製台中可以按單個標記彙總使用情況。從同一頁麵下載的可計費使用情況CSV報告還包括默認和自定義標記。標簽也傳播到GKE和GCE標簽.
為方便起見,Databricks對每個池應用三個默認標簽:供應商
,DatabricksInstancePoolId
,DatabricksInstancePoolCreatorId
.您還可以在創建池時添加自定義標記。您最多可以添加43個自定義標記。
自定義標記
要向池中添加其他標記,請導航到選項卡標簽的底部創建池頁麵。單擊+添加按鈕,然後輸入鍵值對。
池支持的集群從池配置中繼承默認和自定義標記。有關池標記和集群標記如何協同工作的詳細信息,請參見使用集群和池標記監視使用情況.