配置集群

集群政策

一個集群政策限製基於一組規則配置集群的能力。策略規則限製了可用於創建集群的屬性或屬性值。集群策略的acl限製了對特定用戶和組的使用，從而限製了在創建集群時可以選擇哪些策略。

如果需要配置集群策略，請選擇政策下拉。

如果你有:

• 集群創建權限，您可以選擇不受限製的策略並創建完全可配置的集群。的不受限製的策略不限製任何集群屬性或屬性值。

• 既可以創建集群權限，又可以訪問集群策略，可以選擇不受限製的策略和您可以訪問的策略。

• 僅訪問集群策略，您可以選擇具有訪問權限的策略。

集群模式

Databricks支持三種集群模式:Standard、High Concurrency和單獨的節點．集群模式默認為“標準模式”。

高並發的集群

High Concurrency集群是一種托管雲資源。High Concurrency集群的主要好處是，它們提供了細粒度的共享，以實現最大的資源利用率和最小的查詢延遲。

高並發集群可以運行用SQL、Python和r開發的工作負載。高並發集群的性能和安全性是通過在單獨的進程中運行用戶代碼來提供的，這在Scala中是不可能的。

此外，隻有High Concurrency集群支持訪問控製表．

若要創建高並發集群，請設置集群模式來高並發．

有關如何使用Clusters API創建高並發集群的示例，請參見高並發集群示例．

單節點集群

單節點集群沒有worker，在驅動節點上運行Spark作業。

相比之下，標準集群需要至少有一個Spark工作節點除驅動節點外，還用於執行Spark作業。

若要創建單節點集群，請設置集群模式來單獨的節點．

要了解有關使用單節點集群的更多信息，請參見單節點集群．

數據沿襲

要創建捕獲數據沿襲的集群，請進入集群配置頁麵，執行以下步驟:

1. 在訪問模式中,選擇單用戶或共享．

   • 單用戶:支持多種語言的集群，但隻能由一個指定的用戶使用。

   • 共享:可由多個用戶共享的集群。隻支持SQL和Python工作負載。

2. 在磚的運行時版本的，選擇Databricks Runtime 11.1或更高版本。

3. 單擊高級選項切換。

4. 單擊火花選項卡。

5. 在火花配置文本框中，輸入以下配置:

   spark.databricks.dataLineage.enabled真實

6. 點擊創建集群．

池

為了縮短集群啟動時間，可以將集群附加到預定義的池空閑實例的，用於驅動程序和工作節點。集群是使用池中的實例創建的。如果池沒有足夠的空閑資源來創建請求的驅動程序或工作節點，則池通過從實例提供程序分配新實例來擴展。當連接的集群終止時，它使用的實例將返回到池中，並可由不同的集群重用。

如果為工作節點選擇了池，而不為驅動節點選擇池，則驅動節點從工作節點配置繼承池。

看到池以了解有關在Databricks中使用池的更多信息。

磚運行時

Databricks運行時是一組運行在您的集群．所有Databricks運行時都包括Apache Spark，並添加了提高可用性、性能和安全性的組件和更新。有關詳細信息,請參見磚運行時．

數據庫中提供了幾種類型的運行時和這些運行時類型的幾種版本磚的運行時版本的下拉菜單。

光子加速

光子是否可用於正在運行的集群Databricks Runtime 9.1 LTS及以上。

要啟用光子加速，請選擇使用光子加速複選框。

如果需要，您可以在工作者類型和驅動程序類型下拉列表中指定實例類型。

你可以在火花UI．以下截圖顯示查詢詳細信息DAG。在DAG中有兩個Photon的指示。首先，光子運算符以" Photon "開頭，例如，PhotonGroupingAgg．其次，在DAG中，光子運算符和階段是桃色的，而非光子運算符和階段是藍色的。

集群節點類型

集群由一個驅動節點和零個或多個工作節點組成。

您可以為驅動程序節點和工作節點選擇單獨的雲提供程序實例類型，不過在默認情況下，驅動程序節點使用與工作節點相同的實例類型。不同的實例類型適用於不同的用例，例如內存密集型或計算密集型工作負載。

集群大小和自動伸縮

在創建Databricks集群時，可以為集群提供固定數量的工作人員，也可以為集群提供最小和最大數量的工作人員。

當您提供固定大小的集群時，Databricks確保您的集群具有指定數量的工作人員。當您為工作人員的數量提供一個範圍時，Databricks將選擇運行作業所需的適當數量的工作人員。這被稱為自動定量．

通過自動伸縮，Databricks可以根據您的工作特性動態地重新分配工作人員。管道的某些部分可能比其他部分更需要計算，Databricks會在您的工作的這些階段自動添加額外的工作人員(並在不再需要時刪除他們)。

自動伸縮使實現高集群利用率變得更容易，因為您不需要提供集群來匹配工作負載。這尤其適用於需求隨時間而變化的工作負載(比如在一天的過程中探索數據集)，但它也適用於一次性較短的、配置需求未知的工作負載。因此，自動縮放提供了兩個優點:

• 與固定大小的未配置的集群相比，工作負載可以運行得更快。

• 與靜態大小的集群相比，自動伸縮集群可以降低總體成本。

根據集群和工作負載的恒定大小，自動伸縮可以同時提供這兩種好處中的一種或兩種。當雲提供商終止實例時，集群大小可以低於所選擇的最小工作人員數量。在這種情況下，Databricks不斷嚐試重新提供實例，以維持最低的工作人員數量。

本地磁盤加密

用於運行集群的某些實例類型可能具有本地連接的磁盤。數據庫可以在這些本地連接的磁盤上存儲隨機數據或臨時數據。要確保對所有存儲類型的所有靜止數據(包括臨時存儲在集群本地磁盤上的shuffle數據)進行加密，可以啟用本地磁盤加密。

當啟用本地磁盤加密時，Databricks會在本地生成一個加密密鑰，該密鑰對每個集群節點都是惟一的，用於加密存儲在本地磁盤上的所有數據。密鑰的作用域對於每個集群節點都是本地的，並且與集群節點本身一起銷毀。在其生命周期內，密鑰駐留在內存中進行加密和解密，並加密存儲在磁盤上。

要啟用本地磁盤加密，必須使用集群API 2.0．在創建或編輯集群時，設置:

｛“enable_local_disk_encryption”：真正的｝

看到創建而且編輯在集群API參考中有如何調用這些API的例子。

下麵是一個啟用本地磁盤加密的集群創建調用的示例:

｛“cluster_name”：“my-cluster”，“spark_version”：“7.3.x-scala2.12”，“node_type_id”：“r3.xlarge”，“enable_local_disk_encryption”：真正的，“spark_conf”：｛“spark.speculation”：真正的}，“num_workers”：25｝

安全模式

如果您的工作空間被分配給統一目錄亞Metastore，你用安全模式而不是高並發集群模式確保訪問控製的完整性並執行強隔離保證。高並發集群模式在Unity Catalog中不可用。

下高級選項，在以下集群安全模式中進行選擇:

• 沒有一個:沒有隔離。不強製工作空間-本地表訪問控製或憑據傳遞。無法訪問Unity Catalog數據。

• 單用戶:隻能由單個用戶使用(默認為創建集群的用戶)。其他用戶無法附加到集群。當從群集中訪問視圖時單用戶安全模式下，視圖以用戶的權限執行。單用戶集群支持使用Python、Scala和R. Init腳本、庫安裝和DBFS FUSE掛載的工作負載。自動化作業應該使用單用戶集群。

• 用戶隔離:可由多個用戶共享。隻支持SQL工作負載。禁用庫安裝、初始化腳本和DBFS FUSE掛載，以強製集群用戶之間的嚴格隔離。

• 僅表ACL(遺留):強製工作空間-本地表訪問控製，但不能訪問Unity Catalog數據。

• 隻透傳(遺留):強製工作空間-本地憑據傳遞，但不能訪問Unity Catalog數據。

Unity Catalog工作負載支持的唯一安全模式是單用戶而且用戶隔離．

有關更多信息，請參見什麼是集群訪問模式?．

AWS的配置

在配置集群的AWS實例時，可以選擇可用分區、最大現貨價格、EBS卷類型和大小以及實例配置文件。指定配置,

1. 在集群配置頁麵，單擊高級選項切換。

2. 在該頁的底部，單擊實例選項卡。

   

EBS卷

本節介紹工作節點的默認EBS卷設置、如何添加shuffle卷以及如何配置集群以使Databricks自動分配EBS卷。

要配置EBS卷，請單擊實例選項卡中選擇一個選項EBS卷類型下拉列表。

默認EBS卷

Databricks為每個工作節點提供EBS卷如下:

• 一個30gb加密的EBS實例根卷，僅供主機操作係統和Databricks內部服務使用。

• Spark工作者使用的一個150gb加密的EBS容器根卷。承載Spark服務和日誌。

• (僅適用於HIPAA)一個75 GB加密的EBS工作日誌卷，用於存儲Databricks內部服務的日誌。

添加EBS shuffle卷

如果需要添加shuffle卷，選擇通用SSD在“EBS卷類型”下拉列表中:

默認情況下，Spark shuffle輸出到實例本地磁盤。對於沒有本地磁盤的實例類型，或者如果希望增加Spark shuffle存儲空間，可以指定額外的EBS卷。當運行產生大量shuffle輸出的Spark作業時，這對於防止磁盤空間不足的錯誤特別有用。

Databricks為按需和現場實例加密這些EBS卷。閱讀更多關於AWS EBS卷．

可選地，使用客戶管理的密鑰加密Databricks EBS卷

您可以選擇使用客戶管理的密鑰加密集群EBS卷。

看到工作空間存儲的客戶管理鍵

AWS EBS限製

確保您的AWS EBS限製足夠高，以滿足所有集群中所有工作者的運行時需求。有關默認EBS限製以及如何更改這些限製的信息，請參見Amazon彈性塊存儲(EBS)限製．

AWS EBS SSD卷類型

您可以為AWS EBS SSD卷類型選擇gp2或gp3。要做到這一點，看管理SSD存儲．Databricks建議您切換到gp3，因為它比gp2節省成本。有關gp2和gp3的技術信息，請參見Amazon EBS卷類型．

自動定量本地存儲

如果不希望在創建集群時分配固定數量的EBS卷，請使用自動伸縮本地存儲。通過自動伸縮本地存儲，Databricks可以監視集群Spark worker上可用的空閑磁盤空間量。如果某個工作者的磁盤空間開始過低，Databricks會在該工作者的磁盤空間耗盡之前自動將一個新的EBS卷掛載到該工作者。每個實例(包括實例的本地存儲)所附加的EBS卷的總磁盤空間不超過5 TB。

若要配置自動伸縮存儲，請選擇啟用自動伸縮本地存儲在“自動駕駛選項”框中:

隻有當實例返回給AWS時，才會卸載附加到實例的EBS卷。也就是說，隻要實例是正在運行的集群的一部分，EBS卷就不會與實例分離。為了減少EBS的使用，Databricks建議在配置了的集群中使用此特性AWS gravon實例類型或自動終止．

請注意

Databricks使用吞吐量優化HDD (st1)擴展實例的本地存儲。的默認AWS容量限製這些卷的價格是20 xb。為了避免達到此限製，管理員應該根據自己的使用需求請求增加此限製。

請注意

如果您在2.44版本之前(即2017年4月27日之前)創建了Databricks帳戶，並希望使用自動伸縮本地存儲(在默認情況下啟用)高並發的集群)，您必須為IAM角色添加卷權限或創建帳戶時使用的密鑰。特別是，您必須添加權限ec2: AttachVolume，ec2: CreateVolume，ec2: DeleteVolume,ec2: DescribeVolumes．有關權限的完整列表以及如何更新您現有IAM角色或密鑰的說明，請參見創建跨帳戶IAM角色．

實例配置文件

要在不使用AWS密鑰的情況下安全地訪問AWS資源，可以使用實例概要啟動Databricks集群。看到使用實例配置文件安全訪問S3桶有關如何創建和配置實例概要文件的信息。一旦你創建了一個實例概要文件，你可以在實例概要文件下拉列表中選擇它:

請注意

一旦使用實例概要啟動集群，任何對該集群具有附加權限的人都可以訪問由該角色控製的底層資源。為了防止不必要的訪問，您可以使用集群訪問控製限製對集群的權限。

火花配置

要微調Spark作業，您可以提供定製火花配置屬性在集群配置中。

1. 在集群配置頁麵，單擊高級選項切換。

2. 單擊火花選項卡。

   

   在火花配置，以每行一個鍵值對的形式輸入配置屬性。

配置集群時使用集群API 2.0，設置“Spark”屬性spark_conf字段創建集群請求或編輯集群請求．

若要設置所有集群的Spark屬性，請創建一個全球init腳本：

dbutils．fs．把（“dbfs: /磚/ init / set_spark_params.sh”，"""| # !/bin/bash|貓| < < EOF的> / conf / 00-custom-spark-driver-defaults.conf /磚/驅動程序|(司機){|“spark.sql.sources。partitionOverwriteMode”=“動態”|}| EOF"""．stripMargin，真正的）

從秘密中檢索Spark配置屬性

Databricks建議將密碼等敏感信息存儲在秘密而不是明文。要在Spark配置中引用一個秘密，請使用以下語法:

火花。<屬性名>{{秘密/ < scope-name > / <秘密名字>}}

例如，設置Spark配置屬性稱為密碼存儲的秘密的值秘密/ acme_app /密碼：

火花。密碼{{秘密/ acme-app /密碼}}

有關更多信息，請參見用於在Spark配置屬性或環境變量中引用秘密的語法．

環境變量

您可以配置可以從中訪問的自定義環境變量init腳本在集群上運行。Databricks還提供預定義的環境變量你可以在初始化腳本中使用。您不能重寫這些預定義的環境變量。

1. 在集群配置頁麵，單擊高級選項切換。

2. 單擊火花選項卡。

3. 中設置環境變量環境變量字段。

   

方法還可以設置環境變量spark_env_vars字段創建集群請求或編輯集群請求集群API端點。

集群的標簽

集群標記允許您輕鬆地監視組織中各個組使用的雲資源的成本。在創建集群時，可以將標記指定為鍵-值對，Databricks將這些標記應用於虛擬機和磁盤卷等雲資源DBU使用報告．

對於從池啟動的集群，自定義集群標記隻應用於DBU使用情況報告，而不會傳播到雲資源。

有關池和集群標記類型如何協同工作的詳細信息，請參見使用集群和池標記監視使用情況．

為了方便起見，Databricks為每個集群應用了四個默認標記:供應商，創造者，ClusterName,ClusterId．

此外，在作業集群上，Databricks應用兩個默認標記:RunName而且JobId．

在Databricks SQL使用的資源上，Databricks還應用默認標記SqlWarehouseId．

您可以在創建集群時添加自定義標記。配置集群標簽。

1. 在集群配置頁麵，單擊高級選項切換。

2. 在該頁的底部，單擊標簽選項卡。

   

3. 為每個自定義標記添加鍵值對。您最多可以添加45個自定義標記。

有關更多細節，請參見使用集群和池標記監視使用情況．

｛“版本”：“2012-10-17”，“聲明”：［｛“席德”：“MandateLaunchWithTag1”，“效應”：“否認”，“行動”：［“ec2: RunInstances”，“ec2: CreateTags”]，“資源”：“攻擊:aws: ec2:地區:accountId:實例/ *”，“條件”：｛“StringNotEqualsIgnoreCase”：｛“aws: RequestTag /部門”：［“Deptt1”，“Deptt2”，“Deptt3”］｝｝}，｛“席德”：“MandateLaunchWithTag2”，“效應”：“否認”，“行動”：［“ec2: RunInstances”，“ec2: CreateTags”]，“資源”：“攻擊:aws: ec2:地區:accountId:實例/ *”，“條件”：｛“StringNotLike”：｛“aws: RequestTag /項目”："？*”｝｝｝］｝

雲提供程序啟動失敗:在設置集群時遇到雲提供程序錯誤。

對集群的SSH訪問

SSH允許遠程登錄Apache Spark集群進行高級故障排除和安裝自定義軟件。

有關相關功能，請參見網絡終端．

本節介紹如何配置AWS帳戶，以啟用使用您的公鑰對集群的入口訪問，以及如何打開到集群節點的SSH連接。

Ssh-keygen -t rsa -b4096- c“email@example.com”

瓦爾publicKey＝“把你的公開密碼匙放在這裏”defaddAuthorizedPublicKey（關鍵：字符串)：單位＝｛瓦爾弗蘭克-威廉姆斯＝新java．io．FileWriter（“/ home / ubuntu / . ssh / authorized_keys”，/ *添加* /真正的）弗蘭克-威廉姆斯．寫（“\ n”+關鍵）弗蘭克-威廉姆斯．關閉（）｝瓦爾numExecutors＝sc．getExecutorMemoryStatus．鍵．大小sc．並行化（0直到numExecutors，numExecutors）.foreach｛我= >addAuthorizedPublicKey（publicKey）｝addAuthorizedPublicKey（publicKey）

集群日誌交付

創建集群時，可以指定Spark驅動節點、工作節點和事件的日誌下發位置。日誌每5分鍾發送一次到您選擇的目的地。當一個集群終止時，Databricks保證在集群終止之前發送所有生成的日誌。

日誌的目的與集群ID有關。如果指定的目的地為dbfs: / cluster-log-delivery的集群日誌。0630 - 191345 leap375交付給dbfs: / cluster-log-delivery / 0630 - 191345 leap375．

配置日誌下發位置。

1. 在集群配置頁麵，單擊高級選項切換。

2. 單擊日誌記錄選項卡。

   

3. 選擇目標類型。

4. 輸入集群日誌路徑。

｛“版本”：“2012-10-17”，“聲明”：［｛“效應”：“允許”，“行動”：［“s3: ListBucket”]，“資源”：［“攻擊:aws: s3::: < my-s3-bucket >”］}，｛“效應”：“允許”，“行動”：［“s3: propertynames”，“s3: PutObjectAcl”，“s3: GetObject”，“s3: DeleteObject”]，“資源”：［“攻擊:aws: s3::: < my-s3-bucket > / *”］｝］｝

Init腳本

集群節點初始化腳本是在每個集群節點啟動期間運行的shell腳本之前Spark驅動程序或worker JVM啟動。您可以使用初始化腳本來安裝Databricks運行時中不包含的包和庫，修改JVM係統類路徑，設置JVM使用的係統屬性和環境變量，或者修改Spark配置參數，以及其他配置任務。

可以將初始化腳本附加到集群高級選項節並單擊Init腳本選項卡。

有關詳細說明，請參見集群節點初始化腳本．