使用磚計算你們的工作

使用共享工作的集群

優化資源使用與工作協調多個任務,使用共享集群的工作。共享工作集群允許多個任務在同一工作運行集群重用。您可以使用一個集群運行所有工作任務的一部分工作,或多個工作為特定的工作負載集群優化。使用一個共享工作集群:

1. 選擇新工作的集群當您創建一個任務並完成集群配置。

2. 選擇新的集群將任務添加到工作時,或者創建一個新的集群工作。任何集群配置當您選擇新工作的集群可用於任何任務的工作。

共享集群是局限於一個單一的工作運行工作,其他工作或運行,不能使用相同的工作。

圖書館不能宣布在一個共享的集群配置工作。你必須在任務中添加依賴庫的設置。

為你的工作選擇正確的集群類型

• 新工作的集群是一個作業或任務運行專用集群。創建一個集群共享工作,開始當第一個任務使用集群的開始和終止後使用集群完成最後的任務。集群不是閑置但終止時終止後才使用它已經完成了所有的任務。如果集群共享工作失敗或終止所有任務完成之前,創建一個新的集群。創建一個集群範圍的一個任務在任務開始和終止時,開始當任務完成。在生產中,磚建議使用新的共享或任務範圍集群,這樣每個作業或任務運行在一個完全隔離環境。

• 一個新的集群上運行一個任務時,任務被視為數據工程(任務)工作負載,任務工作量定價。當你現有的通用集群上運行一個任務,任務視為一個數據分析(通用)工作負載,通用工作負載的定價。

• 如果你選擇了一個終止現有的集群和所有者擁有的工作可以重新啟動許可,磚開始集群調度運行工作時。

• 現有的集群最適合更新等任務指示板定期。

使用池減少集群開始時間

減少集群新工作開始時間,創建一個池和配置工作的集群使用池。