使合規安全概要

需求

• 你的磚賬戶必須包括增強的安全性和遵從性附加組件。詳情,請參閱定價頁。

• 磚工作區E2版本的平台。Beplay体育安卓版本

• 企業層磚工作區。

• 單點登錄(SSO)身份驗證配置的工作區。

使合規安全概要

1. 準備任何現有的工作空間,將使用安全性配置文件。看到準備一個工作區合規安全配置文件。

2. 聯係你的磚代表和請求添加帳戶級別的合規安全概要或隻是為了一些工作區。

   如果你想讓它隻是對於一些工作區,發送的工作區id列表工作區為概要文件,您想使用。得到一個工作空間ID從URL當你使用工作區。尋找o =在URL中。數量後o =是磚工作區ID。例如,如果URL是什麼https:// < databricks-instance > / ? o = 6280049833385130工作區ID6280049833385130。

3. 等待確認這個概要文件現在啟用。

4. 如果任何集群或SQL倉庫運行,重新啟動它們。如果您有許多集群運行,隻想重新啟動的開始實施之前,您可以使用一個腳本,磚提供確定所有集群如果開始時間之前啟用日期。

   設置完成。根據需要創建或使用磚計算資源。

如果你使合規安全概要為您的帳戶或工作區,長時間運行的集群自動重啟後25天。磚建議工作區管理員定期重新啟動集群運行前25天,這樣做在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。您可以使用一個腳本,磚規定,可以確定您的集群已運行多長時間,並選擇重新啟動它們。看到重新啟動集群。如果你想手動重啟長期運行的集群,您可以使用一個腳本,磚規定,可以確定您的集群已運行多長時間,並選擇重新啟動它們。看到運行一個腳本,它決定了你多少天集群運行,並選擇重新啟動它們。

準備一個工作區合規安全配置文件

一些措施是必要的準備合規安全概要的工作區。如果您尚未啟用安全性配置文件,做這些步驟之前要求啟用安全性配置文件。

如果啟用了安全性配置文件已經在一個帳戶級別和你創建任何新工作空間,你必須做這些步驟在您創建任何新工作區。

1. 如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。如果任何集群運行25天或更長時間啟用合規安全概要時,集群立即重啟,導致運行作業失敗。相反,檢查長時間運行的集群之前啟用安全性配置文件。這樣可以減少雙方的風險破壞計劃的工作。檢查您的集群已運行多長時間並重新啟動運行的任何已超過20天(25天)降低集群的風險被雙方25天後當啟用安全性配置文件。看到重新啟動集群。

   請注意

   如果你的工作空間的一部分集群的公共預覽自動更新,這種行為是不同的。隻有更新需要計算資源自動重啟。你可以選擇一個定期每月或每月安排,在這種情況下,二十五天的限製並不適用,遺留工作空間設置自動重啟的長時間運行的集群將被忽略。

2. 配置單點登錄(SSO)身份驗證。

3. 添加所需的網絡端口。

   • 工作區與PrivateLink端連接:你必須做出改變來支持如果工作區使用FIPS加密PrivateLink私人之間的連接端連接的經典數據平麵在AWS帳戶和磚的磚控製平麵的帳戶。

     其中的一個網絡要求PrivateLink後端連接是創建一個單獨的端點安全組,允許HTTPS / 443和雙向訪問TCP / 6666(和)工作區子網和端點子網本身。這種配置允許訪問REST api(端口443)和安全集群連接(6666)。然後,您可以使用安全組的目的。

     為FIPS加密支持即將到來的變化,更新您的網絡安全組另外允許雙向訪問為FIPS 2443端口連接。總組端口允許雙向訪問是443年,2443年和6666年。

   • 工作區沒有PrivateLink端連接:如果工作區不使用PrivateLink私人連接端連接但工作區配置為限製境外網絡訪問,你需要讓交通額外端點支持FIPS端點。

     為FIPS加密支持即將到來的變化,更新您的網絡安全組(或防火牆)允許出境訪問的數據平麵FIPS控製飛機在端口2443上的連接。這是除了輸出端口443訪問你需要允許了。相關的相關信息安全組和防火牆配置customer-managed vpc,明白了安全組和配置防火牆和出站訪問(可選)。

4. 如果任何工作都是在美國東部地區,美國西部地區,或加拿大(中央)地區,限製出站配置網絡訪問,你需要讓交通其他端點支持FIPS端點。記住,如果你使用這些地區現在不限製的訪問,如果你在未來限製的訪問,您將需要重新審視這一步。

   S3服務,你必須確保你的經典數據平麵網絡AWS帳戶允許外向交通AWS雲服務的端點S3和FIPS變體S3服務的前綴s3-fips。這適用於S3服務而不是STS和運動的端點。

   • S3,允許輸出流量的端點s3。<地區> .amazonaws.com和s3-fips。<地區> .amazonaws.com。例如s3.us -東- 1. - amazonaws.com和s3 fips.us -東- 1. amazonaws.com。

   • STS,允許輸出流量的端點sts。<地區> .amazonaws.com。

   • 對於運動,使輸出流量的端點運動。<地區> .amazonaws.com。

5. 每個工作區使用配置文件,運行以下測試來驗證,這一改變是正確應用:

   1. 啟動與司機和1的磚集群的工人,任何DBR版本,和任何實例類型。

   2. 創建一個筆記本連接到集群。使用這個集群為以下測試。

   3. 在筆記本上,驗證DBFS連接通過運行:

      % fs ls / % sh ls / dbfs

      確認文件清單似乎沒有錯誤。

   4. 在筆記本上,確認訪問的控製平麵的實例。從表中獲得地址本節並尋找VPC的Webapp端點區域。

      % sh數控-zv < webapp-domain-name >443年

      例如,對於VPC地區us-west-2:

      % sh數控-zv oregon.cloud.www.eheci.com443年

      確認結果表示,它成功了。

   5. 在筆記本上,確認訪問的SCC繼電器。從表中獲得地址本節並尋找VPC的SCC繼電器端點區域。

      % sh數控-zv < scc-relay-domain-name >2443年

      例如,對於VPC地區us-west-1:

      % sh數控-zv tunnel.cloud.www.eheci.com2443年

      確認結果表示,它成功了。

   6. 在筆記本上,確認訪問S3, STS,動作FIPS端點的地區。

      請注意

      這一步,FIPS為加拿大僅適用於S3服務端點。AWS尚未提供FIPS端點STS和運動。

      % sh數控-zv < bucket名> .s3-fips。<地區> .amazonaws.com443年% sh數控-zv sts。<地區> .amazonaws.com443年% sh數控-zv運動。<地區> .amazonaws.com443年

      例如,對於VPC地區us-west-1:

      % sh數控-zv acme -公司- bucket.s3 fips.us -西方- 1. - amazonaws.com443年% sh數控-zv sts.us -西方- 1. amazonaws.com443年% sh數控-zv kinesis.us -西方- 1. amazonaws.com443年

      確認所有三個命令的結果顯示成功。

   7. 在相同的筆記本,驗證集群配置火花點所需的端點。例如:

      > > > spark.conf.get(“fs.s3a.stsAssumeRole.stsEndpoint”)“sts.us -西方- 1. amazonaws.com”> > > spark.conf.get(“fs.s3a.endpoint”)“s3 fips.us -西方- 2. amazonaws.com”

6. 確認所有現有的集群和在所有受影響的工作區工作使用的實例類型支持的合規安全概要。確認或更改所有集群和就業的實例類型是下列之一:ca5,C5ad,C5n,C6i,C6id,C6in,D3,D3en,G4dn,G5,I3en,I4i,M5dn,M5n,M5zn,M6i,M6id,M6idn,M6in,P3dn,R-fleet,R5dn,R5n,R6i,R6id,R6idn,R6in和磚艦隊實例的類型M-fleet,MD-fleet,RD-fleet。。

   以外的任何工作負載類型實例列表上麵會導致集群/工作未能啟動的invalid_parameter_exception。

功能和技術控製

的主要增強合規安全概要AWS帳戶影響磚的計算資源,也被稱為典型的數據平麵在AWS帳戶。這些改進包括:

• 一個增強的磁盤映像(aCIS-hardenedUbuntu的優勢工人形象)。

• 集群自動重啟後25天,得到最新的AMI的最新安全更新。如果你使合規安全概要你的帳戶或工作區,長時間運行的集群自動重啟後25天。磚建議工作區管理員重新啟動集群可能競選25天當啟用安全性配置文件,這樣做在一個預定的維護窗口。這樣可以減少雙方的風險破壞計劃的工作。您可以使用一個腳本,磚規定,可以確定您的集群已運行多長時間,並選擇重新啟動它們。看到重新啟動集群。

  請注意

  如果你的工作空間的一部分集群的公共預覽自動更新,這種行為是不同的。隻有更新需要計算資源自動重啟。你可以選擇一個定期每月或每月安排,在這種情況下,二十五天的限製並不適用,遺留工作空間設置自動重啟的長時間運行的集群將被忽略。

• 安全監控代理生成日誌,你可以檢查。兩個監控代理運行在計算資源(集群工人)在您的工作空間中典型的數據平麵在AWS帳戶。這適用於集群為筆記本電腦和工作,以及用於磁盤映像讚成或典型的SQL倉庫。

• 強製使用AWS硝基在集群和磚SQL SQL倉庫實例類型。實例類型僅限於那些提供hardware-implemented集群節點之間的網絡加密和加密本地磁盤的安寧了。這適用於集群為筆記本電腦和工作以及讚成或典型的SQL倉庫使用磚的SQL。支持的類型實例ca5,C5ad,C5n,C6i,C6id,C6in,D3,D3en,G4dn,G5,I3en,I4i,M5dn,M5n,M5zn,M6i,M6id,M6idn,M6in,P3dn,R-fleet,R5dn,R5n,R6i,R6id,R6idn,R6in和磚艦隊實例的類型M-fleet,MD-fleet,RD-fleet。。

• 集群中的通訊和出口使用TLS 1.2加密或更高版本,包括連接到metastore。

• 集群僅限於一個合規安全概要支持的版本。磚限製了磚的運行時版本的UI,並為不支持的磚不允許API請求運行時版本。支持版本磚運行時7.3 LTS及以上。

• 盾牌標誌出現在用戶的導航欄圖標在頁麵的左下角。看到確認合規安全配置文件啟用一個工作區。

本文中討論的數據平麵增強僅適用於典型的數據平麵在AWS帳戶。

當一個合規啟用了安全性配置文件,磚不允許使用serverless SQL倉庫中運行serverless數據平麵磚的帳戶。

磚跑兩個監控代理控製平麵的磚AWS帳戶:

• 殺毒

• 文件完整性監測

看到監控代理在磚計算圖像。

磁盤映像與增強的硬化

而合規啟用了安全性配置文件,磚計算資源(集群工作圖片)在典型的數據平麵上使用一個增強的硬化基礎上操作係統映像Ubuntu的優勢。Ubuntu的優勢是企業安全的包和支持開源基礎設施和應用程序包括以下:

• 一個順式1級硬化的形象

• FIPS 140 - 2 1級驗證加密模塊

監控代理在磚計算圖像

而合規啟用了安全性配置文件,有額外的安全監控代理,包括兩個代理中預裝的圖像用於磚計算資源的虛擬機。你不能禁用監控代理的增強的磁盤映像。

監控代理的管理和升級

額外的監控代理使用的磁盤映像的經典數據平麵的計算資源升級係統的標準磚過程的一部分:

• 經典的數據平麵基礎磁盤映像(AMI)擁有,管理和修補磚。

• 磚提供和應用安全補丁發布新磁盤映像(ami)。交貨時間表取決於發現漏洞的新功能和SLA。典型的交付是每2 - 4周。

• 數據平麵的基本操作係統是Ubuntu 18.04 LTS優勢。

• 磚集群和pro或經典SQL倉庫默認是短暫的。發射後,集群和pro或經典SQL倉庫使用最新的可用的基本形象。舊版本,新集群的安全漏洞是不可用。

  • 你是負責確保你沒有長時間運行的集群。

  • 你負責重新啟動集群定期(使用UI或API),以確保他們使用最新的補丁主機虛擬機鏡像。

  • 磚可以共享的要求一個磚筆記本,列出了您的工作空間中運行的集群和標識主機超過指定數量的天,選擇重新啟動集群。

確認合規安全配置文件啟用一個工作區

確認一個工作區使用合規安全性配置文件,檢查它黃色盾牌標誌顯示在用戶界麵。盾牌標誌出現在用戶的導航欄圖標在頁麵的左下角。

• 最初當導航欄圖標顯示為倒塌。

  • 如果您將鼠標懸停在圖標和導航欄的擴張,盾牌圖標也伴隨著一個信息:“<工作空間名稱>合規安全概要”。

檢查是否啟用後的任何現有的集群需要重啟

工作區與安全性配置文件啟用後,您需要重新啟動之前創建的集群支持的時候使用安全性配置文件,以確保它是增強和控製。

如果您有許多集群運行,隻想重新啟動的開始實施之前,您可以使用該腳本確定開始時間之前啟用日期。給定一個工作區URL,個人訪問令牌訪問REST api在這個工作區,啟用日期/時間,這個腳本返回一個列表的集群啟動和/或重啟之前實施的時間戳。腳本輸出集群ID和集群名稱。

進口請求進口json#這筆記本需要用戶級個人訪問令牌。這應該是存儲#在磚秘密的API(或相似的)和不應該硬編碼在一個筆記本上。#使用磚CLI或API添加一個秘密。CLI的例子:# $磚秘密創建範圍——YOUR_SCOPE_NAME範圍# $磚秘密把YOUR_KEY_NAME——splunk_env範圍鍵#配置範圍和下麵的鍵名。# = = = = = =更新下麵的下麵WORKSPACE_URL=“< WORKSPACE-URL-HERE >”令牌=dbutils。秘密。得到(範圍=“YOUR_SCOPE_NAME”,關鍵=“YOUR_KEY_NAME”)#應該配置以下之一:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS= <時間- - - - - -在- - - - - -UTC>#注意,米爾斯,例如1651366230000WORKSPACE_ENABLEMENT_TIME_FORMATTED=沒有一個-0000 #格式YYYY-MM-DD HH: MM: SS#例子“2022-06-01 15:01:01 -0700”# = = = = = =更新上麵如果WORKSPACE_ENABLEMENT_TIME_FORMATTED! =沒有一個:WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS=datetime。strptime(WORKSPACE_ENABLEMENT_TIME_FORMATTED,“% Y - % m% d% H: % M: % S % z”)。時間戳()*1000年頭={“授權”:“持票人”+令牌}url=WORKSPACE_URL+“/ api / 2.0 /集群/列表”響應=請求。請求(“獲得”,url,頭=頭,數據={})集群=json。加載(響應。文本)[“集群”]need_restart=[]為c在集群:start_time=c(“start_time”]last_start=start_time如果“last_restarted_time”在c:last_start=馬克斯(start_time,c(“last_restarted_time”])如果last_start< =WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS:need_restart。附加((c(“cluster_id”),c(“cluster_name”)))如果(len(need_restart)= =0):打印(“所有集群已經重新啟動{}”。格式(WORKSPACE_ENABLEMENT_TIME_UTC_MILLIS))其他的:打印(“下麵的集群仍然需要重啟留在合規”)為(id,的名字)在need_restart:打印(“集群{},{}”。格式(id,的名字))