Customer-managed VPC

概述

默認情況下，集群創建在單個AWS VPC(虛擬私有雲)中，由Databricks在您的AWS帳戶中創建和配置。您可以選擇在自己的VPC中創建Databricks工作空間，該特性稱為customer-managed VPC．您可以使用客戶管理的VPC來對您的網絡配置進行更多的控製，以符合您的組織可能需要的特定的雲安全和治理標準。

客戶管理的VPC是一個很好的解決方案，如果你有:

• 防止PaaS提供商在您自己的AWS帳戶中創建vpc的安全策略。

• 創建新VPC的審批流程，由內部信息安全或雲工程團隊以良好的文檔方式配置和保護VPC。

福利包括:

• 較低的權限級別:您可以更好地控製自己的AWS帳戶。並且您不需要通過跨帳戶IAM角色授予Databricks許多權限，就像您為Databricks管理的VPC所做的那樣。例如，創建vpc不需要權限。這個有限的權限集可以使您更容易獲得在平台堆棧中使用Databricks的批準。Beplay体育安卓版本

• 簡化網絡操作:網絡空間利用率更高。與默認的CIDR /16相比，可選地為工作空間配置更小的子網。並且不需要其他解決方案可能需要的複雜的VPC對等配置。

• vpc合並:多個Databricks工作區可以共享一個數據平麵VPC，通常用於計費和實例管理。

• 限製傳出連接:默認情況下，數據平麵不限製Databricks Runtime worker的外發連接。對於配置為使用客戶管理的VPC的工作區，可以使用出口防火牆或代理設備將出站流量限製為允許的內部或外部數據源列表。

為了利用客戶管理的VPC，必須在首次創建Databricks工作空間時指定VPC。不能將已使用databicks管理的VPC的工作空間移動到客戶管理的VPC中。但是，您可以通過更新工作空間配置的網絡配置對象，將帶有客戶管理VPC的現有工作空間從一個VPC移動到另一個VPC。看到更新正在運行的工作區．

要在自己的VPC中部署工作空間，您必須:

1. 根據要求創建VPCVPC需求．

2. 在創建工作空間時，使用Databricks引用VPC網絡配置。

   • 使用帳戶控製台並根據名稱選擇配置

   • 使用帳戶API並根據其ID選擇配置

   向數據庫注冊VPC時，需要提供VPC ID、子網ID和安全組ID。

VPC需求

您的VPC必須滿足本節所述的要求，才能運行Databricks工作空間。

創建VPC

要創建vpc，您可以使用各種工具:

• AWS控製台

• AWS CLI

• 起程拓殖

• AWS快速入門(創建一個新的由客戶管理的VPC和一個新的工作空間)

使用AWS Console，創建和配置VPC及相關對象的基本說明如下所示。有關完整的說明，請參閱AWS文檔。

1. 去AWS中的vpc頁麵．

2. 請查看右上方的區域選擇器。如果需要，切換到工作區的區域。

3. 在右上角，單擊橙色按鈕創建VPC．

   

4. 點擊VPC及更多．

5. 在名牌自動生成為您的工作區鍵入一個名稱。Databricks建議在名稱中包含地區。

6. “VPC地址範圍”可根據實際需要修改。

7. 對於公網子網，單擊2．Databricks工作空間不直接使用這些子網，但是在這個編輯器中啟用nat需要它們。

8. 對於私有子網，單擊2為工作空間子網的最小值。如果需要，您可以添加更多。

   Databricks工作區至少需要兩個私有子網。如果需要調整它們的大小，例如與多個需要單獨子網的工作區共享一個VPC，請單擊自定義子網CIDR塊．

9. 對於NAT網關，單擊1 AZ．

10. 確保底部的以下字段已啟用:啟用DNS主機名而且啟用DNS解析．

11. 點擊創建VPC．

12. 在查看新創建的VPC時，單擊左側導航中的，更新VPC的相關設置。為了便於查找相關對象，在按VPC過濾字段，選擇新的VPC。

13. 點擊子網AWS稱之為私人標記為1和2的子網，您將使用它們來配置您的主工作區子網。修改子網VPC需求．

    如果創建了額外的私有子網用於PrivateLink，請配置私有子網3啟用AWS PrivateLink．

14. 點擊安全組中指定的安全組安全組．

    如果您將使用後端PrivateLink連接，請按照本節的PrivateLink文章中指定的方法，使用入站和出站規則創建一個額外的安全組步驟1:配置AWS網絡對象．

15. 點擊網絡acl，修改網絡acl子網級網絡acl．

16. 選擇是否執行本文後麵指定的可選配置。

17. 在數據庫中注冊VPC，創建網絡配置使用帳戶控製台或通過使用帳戶API．

配置防火牆和出站接入(可選)

如果你正在使用安全的集群連接(2020年9月1日的默認值)，使用出口防火牆或代理設備來阻止大部分流量，但允許Databricks需要連接到的url:

• 如果防火牆或代理設備與Databricks工作空間VPC在同一個VPC中，請對流量進行路由，並將其配置為允許以下連接。

• 如果防火牆或代理設備在不同的VPC或內部網絡中，請選擇路由0.0.0.0/0首先連接到該VPC或網絡，並將代理設備配置為允許以下連接。

允許以下傳出連接:

• Databricks web應用:必須的。也用於對工作區的REST API調用。

• 數據安全集群連接(SCC)中繼:如果您的工作空間使用安全集群連接，則必需，這是帳戶中的工作空間的默認E2版平台Beplay体育安卓版本截至2020年9月1日。

• AWS S3全局URL: Databricks訪問S3根桶時的要求。

• AWS S3區域URL:可選的。但是，您可能會使用其他S3 bucket，在這種情況下，還必須允許S3區域端點。Databricks建議創建一個S3 VPC端點，以便此流量通過AWS網絡骨幹網上的私有隧道。

• AWS STS全球URL:必須的。

• AWS STS區域URL:由於預期切換到區域端點，因此需要。

• AWS Kinesis區域URL: Kinesis端點用於獲取管理和監控軟件所需的日誌。對於大多數區域，使用區域URL。然而，對於vpcus-west-1此時，VPC端點今天不會生效，需要確保Kinesis URL被允許使用us-west-2(不us-west-1)．Databricks建議您創建一個Kinesis VPC端點，以便此流量通過AWS網絡骨幹網上的私有隧道。

• 表亞metastore RDS區域URL(按數據平麵區域):如果你的Databricks工作空間使用默認的Hive metastore，這是必需的，它總是與你的數據平麵區域在同一個區域。這意味著它可能與控製平麵處於相同的地理位置，但區域不同。您可以選擇不使用默認的Hive metastore實現您自己的表metastore實例，在這種情況下，您負責其網絡路由。

配置區域端點(可選)

使用自定義VPC(可選)和安全的集群連接(2020年9月1日的默認值)，您可能更願意將VPC配置為隻使用區域VPC端點到AWS服務，以獲得更直接的連接，並與AWS全球端點相比降低成本。具有客戶管理的VPC的Databricks工作空間必須訪問四種AWS服務:STS、S3、Kinesis和RDS。

僅當使用默認的Databricks metastore時，才需要從VPC連接RDS服務。雖然RDS沒有VPC端點，但是您可以配置自己的外部metastore，而不是使用默認的Databricks metastore。實現一個外部亞穩態蜂巢metastore或AWS膠．

對於其他三種服務，您可以創建VPC網關或接口端點，以便來自集群的相關區域內流量可以通過安全AWS骨幹網而不是公共網絡傳輸:

• S3:創建VPC網關端點可以從Databricks集群子網直接訪問。這將導致所有區域內S3桶的工作空間流量使用端點路由。要訪問任何跨區域桶，請打開對S3全局URL的訪問s3.amazonaws.com在出口設備或路由中0.0.0.0/0到AWS互聯網網關。

  使用DBFS保險絲啟用區域端點:

  • 必須在要設置的集群配置中設置一個環境變量AWS_REGION = < aws-region-code >．例如，如果您的工作空間部署在N. Virginia區域，則設置AWS_REGION = us-east-1．要對所有集群強製執行，請使用集群政策．

• STS:創建VPC接口端點直接從您的Databricks集群子網訪問。您可以在工作區子網中創建此端點。Databricks建議您使用為您的工作空間VPC創建的相同的安全組。此配置導致到STS的工作區通信使用端點路由。

• 運動:創建VPC接口端點直接從您的Databricks集群子網訪問。您可以在工作區子網中創建此端點。Databricks建議您使用為您的工作空間VPC創建的相同的安全組。這個配置導致Kinesis的工作空間流量使用端點路由。該規則的唯一例外是AWS區域中的工作區us-west-1這是不正確的，因為在這種情況下，目標運動流是跨區域到區域的us-west-2．

使用實例概要訪問S3(可選)

訪問S3掛載使用實例配置文件，設置如下Spark配置:

• 要麼在每個源筆記本中：

  ％scalasc．hadoopConfiguration．集（“fs.s3a.endpoint”，“https://s3 <地區> .amazonaws.com”。）sc．hadoopConfiguration．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地區> .amazonaws.com”。）

  ％pythonsc．_jsc．hadoopConfiguration（）．集（“fs.s3a.endpoint”，“https://s3 <地區> .amazonaws.com”。）sc．_jsc．hadoopConfiguration（）．集（“fs.s3a.stsAssumeRole.stsEndpoint”，“https://sts <地區> .amazonaws.com”。）

• 或在集群的Apache Spark配置中：

  火花．hadoop．fs．s3a．端點https：//s3．<地區>。amazonaws．com火花．hadoop．fs．s3a．stsAssumeRole．stsEndpointhttps：//sts．<地區>。amazonaws．com

若要為所有集群設置這些值，請將這些值作為您的集群政策．

限製S3桶訪問(可選)

大多數對S3的讀取和寫入都是自包含在數據平麵內的。但是，有些管理操作來源於控製平麵，由Databricks管理。如果需要限製S3桶隻能訪問指定的源IP地址，可以創建S3桶策略。桶策略中包含aws: SourceIp列表。如果您使用VPC端點，請將其添加到策略的Endpoint中，允許訪問該Endpointaws: sourceVpce．

有關S3桶策略的詳細信息，請參見限製對特定IP地址的訪問在Amazon S3文檔中。工作桶策略示例也包括在本主題中。

｛“席德”：“IPAllow”，“效應”：“否認”，“校長”：“*”，“行動”：“s3: *”，“資源”：［“攻擊:aws: s3::: < s3 bucket >”，“攻擊:aws: s3::: < s3 bucket > / *”]，“條件”：｛“NotIpAddress”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< DATA-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］｝｝｝

｛“席德”：“IPAllow”，“效應”：“否認”，“校長”：“*”，“行動”：“s3: *”，“資源”：［“攻擊:aws: s3::: < s3 bucket >”，“攻擊:aws: s3::: < s3 bucket > / *”]，“條件”：｛“NotIpAddressIfExists”：｛“aws: SourceIp”：［“< CONTROL-PLANE-NAT-IP >”，“< CORPORATE-VPN-IP >”］}，“StringNotEqualsIfExists”：｛“aws: sourceVpce”：“< VPCE-ID >”｝｝｝