創建一個集群

共享訪問模式的局限性

• 不支持Init腳本。

• 集群在磚運行時庫不支持13.0及以下。

• 支持集群級Python庫磚運行時的13.1及以上。支持Python輪子,也可以作為工作空間上傳文件,但不使用DBFS filepaths引用的庫,包括庫上傳到DBFS根。不支持非python庫。看到集群庫。

• 不支持Spark-submit工作。

• 磚不支持運行時毫升。

• 不能使用Scala, R,抽樣api,或客戶直接從雲存儲讀取數據,比如DBUtils。

• 不能使用用戶定義函數(udf),包括UDAFs UDTFs,大熊貓火花(applyInPandas和mapInPandas),蜂巢udf。

• 必須在集群節點上運行命令low-privilege用戶禁止訪問文件係統的敏感部分或創建網絡連接端口80和443。

試圖繞過這些限製將會失敗。這些限製是通過集群用戶不能訪問未經授權的數據。

光子加速

光子用於集群運行嗎磚運行時9.1 LTS及以上。

使光子加速,選擇使用光子加速複選框。

如果需要,您可以指定實例類型的工人的類型和驅動程序類型下拉。

司機節點

司機節點維護狀態信息的筆記本電腦連接到集群。司機節點還維護SparkContext,解釋所有的命令你在集群上運行從一個筆記本和一個圖書館,並運行Apache主坐標的火花引發執行人。

司機節點類型的默認值是一樣的工人節點類型。你可以選擇一個更大的驅動節點類型和更多的內存,如果你正計劃收集()大量的數據從引發工人和分析他們在筆記本上。

工作者節點

磚工節點運行正常運轉所需的火花執行者和其他服務集群。當你分發工作負載與火花,所有的分布式處理發生在工作節點。磚一個人均執行器節點運行。因此,執行者和工人是交替使用的磚結構。

GPU實例類型

對於需求的高性能的計算有挑戰性的任務,像那些與深度學習,磚支持集群加速的圖形處理單元(gpu)。有關更多信息,請參見GPU-enabled集群。

與當地ssd集群實例類型

最新的實例類型列表,每一個的價格,和當地的ssd的大小,看到GCP定價估計量。

實例類型,當地ssd自動使用默認穀歌雲服務器端加密和加密使用磁盤緩存改進的性能。緩存的大小在所有實例類型自動設置,所以你不需要顯式地設置磁盤使用情況。

優化和標準自動定量

磚提供兩種類型的集群節點自動定量:優化和標準。優化自動定量僅可在保費和企業的定價方案。看到Beplay体育安卓版本平台層。

優化的自動定量用於:

• 所有工作的集群

• 互動集群溢價或企業計劃工作空間運行6.4 +磚運行時版本。

標準自動定量用於:

• 標準計劃工作區

• 交互式運行在磚上的集群運行時6.3或更低水平。

如何優化自動定量的行為

• 尺度從最小到最大2步驟。

• 集群可以縮小,即使不是閑置,通過觀察洗牌文件狀態。

• 基於當前節點的比例尺度。

• 工作群,尺度下如果集群充分利用過去40秒。

• 通用的集群,尺度下如果集群充分利用過去150秒。

• 的spark.databricks.aggressiveWindowDownS火花在幾秒鍾內配置屬性指定集群頻率使縮小規模的決定。持續增加的值會導致一個集群規模更慢。最大值是600。

如何自動定量標準的行為

• 從添加8節點開始。然後規模成倍增長,許多步驟達到最大值。

• 尺度時90%的節點不忙10分鍾和集群已經閑置了至少30秒。

• 規模成倍增長,從1開始節點。

啟用和配置自動定量

允許磚自動調整您的集群,啟用自動定量的集群和提供的最小和最大範圍的工人。

1. 啟用自動定量。

   • 通用的集群,在集群上創建和編輯頁麵,選擇啟用自動定量複選框的自動駕駛儀的選擇箱:

     

   • 集群工作——在集群上創建和編輯頁麵,選擇啟用自動定量複選框的自動駕駛儀的選擇箱:

     

2. 配置min和max工人。

自動定量的例子

如果你重新配置靜態集群是一個自動定量集群,磚立即調整集群的大小在最小和最大範圍內,然後開始自動定量。作為一個例子,下表顯示具有一定的初始大小的集群會怎樣如果你重新配置集群自動定量之間的5和10個節點。

可用性區域

在集群配置頁麵,高級選項,您可以選擇集群的可用性區域。此設置允許您指定使用哪個你想要的可用性區域集群。默認情況下,設置為可用性區域設置哈(高可用性)。

你也可以選擇一個特定的區域或汽車。選擇一個特定的區域主要是有用的,如果您的組織購買了保留的實例在特定的可用性區域。如果你選擇汽車,可用性區域自動為您選擇。

自動定量本地存儲

穀歌雲計算實例可以補充額外的存儲在工人級別使用帶狀持續固態磁盤。

自動定量本地存儲,數據磚監視器上可用的空閑磁盤空間集群的火花的工人。如果一個工人開始在磁盤上運行過低,磚自動調整大小的帶狀SSD PD之前耗盡了磁盤空間。Zonal-SSD PD卷附加到一個極限5 TB的總磁盤空間的每個實例(包括實例的本地存儲)。

配置自動定量儲存、選擇啟用自動定量本地存儲。

默認配置存儲

磚規定以下存儲為每個工作節點:

• 一個100 GB的引導磁盤根卷使用的主機操作係統和磚內部服務。

• 當地使用的SSD引發工人。這個主機火花服務日誌。配置本地ssd,明白了與當地ssd集群實例類型。

• 遠程ssd存儲自動定量時啟用。這些從150 GB在創建並根據需要自動定量。

使用搶占的實例

一個搶占式虛擬機實例是一個實例,您可以創建和運行在一個低得多的價格要比普通的實例。然而,穀歌雲可能會停止這些實例(搶占)如果需要訪問這些資源其他任務。搶占式實例使用穀歌計算引擎能力過剩,所以他們的可用性隨使用。

當你創建一個新的集群,您可以啟用搶占的VM實例在兩種不同的方式:

1. 當你使用UI創建一個集群時,你可以點擊搶占式實例旁邊的工作類型細節。

2. 當你使用UI創建一個實例池,您可以設置隨需應變/搶占式來所有的搶占式,搶占式與後備GCP,或對需求的質量。如果搶占的VM實例並不可用,默認情況下,使用隨需應變的VM實例集群將退回。配置默認行為,集gcp_attributes.gcp_availability來PREEMPTIBLE_GCP或PREEMPTIBLE_WITH_FALLBACK_GCP。默認值是ON_DEMAND_GCP。

{“instance_pool_name”:“搶占的w / o後備API測試”,“node_type_id”:“n1-highmem-4”,“gcp_attributes”:{“gcp_availability”:“PREEMPTIBLE_GCP”}}

接下來,創建一個新的集群和設置池搶占式實例池。

穀歌服務帳戶

把這個集群和穀歌服務帳戶使用穀歌標識,點擊高級選項並添加你的穀歌服務帳戶的電子郵件地址穀歌服務帳戶字段。這個值是用於驗證GCS和BigQuery數據源。