創建一個集群

訪問集群創建接口

創建一個集群使用的用戶界麵,單擊創建集群按鈕或者點擊計算部分新>集群在你的工作空間的導航。

集群政策

集群政策是一組規則用於限製用戶可用的配置選項時創建一個集群。集群政策acl控製特定的用戶和組可以訪問某些政策。

默認情況下,所有用戶都可以訪問個人計算* * * *政策,讓他們輕鬆地創建單機計算資源。如果你看不到個人計算政策作為一個選項創建一個集群時,那麼你還沒有得到政策。請聯係您的係統管理員請求訪問個人計算政策或一個適當的政策。

顯示配置集群政策,選擇一個集群的政策政策下拉。

集群訪問模式是什麼?

的訪問模式下拉已經取代了安全模式下拉。訪問模式標準如下:

磚的運行時版本的

磚運行時核心組件的集合,在您的集群上運行。所有磚運行時包含Apache火花和添加組件和更新,提高可用性,性能和安全。有關詳細信息,請參見磚運行時。

磚提供了幾種類型的運行時和幾個版本的運行時類型。您選擇了集群的運行時使用磚的運行時版本的下拉當您創建或編輯一個集群。

集群節點類型

一個集群由一個驅動節點和零個或多個工作節點。你可以選擇單獨的雲提供商為司機和工人節點實例類型,盡管默認情況下司機節點使用相同的實例類型工作節點。不同家庭的實例類型適合不同的用例,如內存密集型或計算密集型工作負載。

集群規模和自動定量

當你創建一個磚集群,可以為集群提供一個固定數量的工人或提供的最小和最大數量的工人集群。

當你提供固定大小的集群,磚確保集群有指定數量的工人。當你為工人的數量,提供一係列磚選擇適當數量的工人需要運行你的工作。這被稱為自動定量。

與自動定量、動態磚是重新分配人員占你的工作的特點。某些部位的管道可能比其他人更計算要求,和磚自動添加額外的工人在這階段的工作(並刪除他們當他們不再需要)。

自動定量使它更容易實現集群利用率高,因為你不需要提供集群匹配工作負載。這尤其適用於負載的需求隨時間變化(如每天探索過程中數據集),但它也能適用於一次性短工作負載的配置需求是未知的。自動定量因此提供了兩個優點:

• 工作負載可以運行得更快而constant-sized under-provisioned集群。

• 自動定量集群靜態大小的集群相比可以降低整體成本。

根據集群的常數大小和工作負載,自動定量給你其中的一個或兩個同時受益。集群規模可以低於最小數量的工人時選擇的雲提供商終止實例。在這種情況下,磚不斷重試重新供應實例為了維持最低的工人數量。

自動定量本地存儲

如果你不想分配一個固定數量的EBS卷在創建集群時,使用自動定量本地存儲。自動定量本地存儲,數據磚監視器上可用的空閑磁盤空間集群的火花的工人。如果一個工人開始在磁盤上運行過低,磚自動高度新EBS卷的工人之前耗盡磁盤空間。EBS卷附加到一個極限5 TB的總磁盤空間的每個實例(包括實例的本地存儲)。

配置自動定量儲存、選擇啟用自動定量本地存儲。

EBS卷附加到一個實例隻分離時返回給AWS實例。EBS卷,永遠不會脫離隻要是一個實例運行集群的一部分。縮減EBS用法,磚建議使用這個特性在集群配置AWS引力子實例類型或自動終止。

本地磁盤加密

一些實例類型用於在本地運行集群可能附加的磁盤。磚可能洗牌數據或臨時數據存儲在這些本地連接的磁盤。確保所有的數據是加密的存儲類型,包括改組數據暫時存儲在集群的本地磁盤,您可以啟用本地磁盤加密。

當啟用本地磁盤加密時,磚在本地生成一個加密密鑰是獨一無二的每個集群節點,並用於加密所有數據存儲在本地磁盤。關鍵是當地的範圍到每個集群節點集群節點本身和被摧毀。在其一生中,加密和解密的關鍵駐留在內存中,加密存儲在磁盤上。

啟用本地磁盤加密,你必須使用集群API 2.0。在集群創建或編輯設置:

{“enable_local_disk_encryption”:真正的}

看到創建和編輯在集群API參考如何調用這些API的例子。

下麵是一個示例集群的創建,使本地磁盤加密:

{“cluster_name”:“my-cluster”,“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“enable_local_disk_encryption”:真正的,“spark_conf”:{“spark.speculation”:真正的},“num_workers”:25}