使用磚計算你們的工作

當您運行一個磚的工作,任務配置為工作的一部分運行在磚計算,一個集群或SQL倉庫根據任務類型。選擇計算類型和配置選項是很重要的,當你實施工作。本文提供了一個指南使用磚計算資源的運行工作。

使用共享工作的集群

優化資源使用與工作協調多個任務,使用共享集群的工作。共享工作集群允許多個任務在同一工作運行集群重用。您可以使用一個集群運行所有工作任務的一部分工作,或多個工作為特定的工作負載集群優化。使用一個共享工作集群:

共享集群是局限於一個單一的工作運行工作,其他工作或運行,不能使用相同的工作。

圖書館不能宣布在一個共享的集群配置工作。你必須在任務中添加依賴庫的設置。

新工作的集群是一個作業或任務運行專用集群。創建一個集群共享工作,開始當第一個任務使用集群的開始和終止後使用集群完成最後的任務。集群不是閑置但終止時終止後才使用它已經完成了所有的任務。如果集群共享工作失敗或終止所有任務完成之前,創建一個新的集群。創建一個集群範圍的一個任務在任務開始和終止時,開始當任務完成。在生產中,磚建議使用新的共享或任務範圍集群,這樣每個作業或任務運行在一個完全隔離環境。
一個新的集群上運行一個任務時,任務被視為數據工程(任務)工作負載,任務工作量定價。當你現有的通用集群上運行一個任務,任務視為一個數據分析(通用)工作負載,通用工作負載的定價。
如果你選擇了一個終止現有的集群和所有者擁有的工作可以重新啟動許可,磚開始集群調度運行工作時。
現有的集群最適合更新等任務指示板定期。

減少集群新工作開始時間,創建一個池和配置工作的集群使用池。