Databricks使用Genie訪問客戶工作空間

通常,Databricks人員不能訪問客戶工作空間。Databricks工作空間是訪問所有Databricks資產的環境。工作區將對象(筆記本、庫和實驗)組織到文件夾中,並提供對數據和計算資源(如集群和作業)的訪問。為了解決某些類型的技術問題,可能需要授權人員訪問客戶工作空間和底層基礎設施。

為了授予安全訪問權限,Databricks使用了一個名為Genie的內部應用程序。每個雲都有一個Genie實例,例如AWS、Azure和穀歌cloud。AWS和穀歌Cloud的Genie訪問需要多因素認證,需要用戶在Databricks網絡或Databricks VPN上。Azure的Genie需要多因素身份驗證,需要用戶在Databricks網絡、Databricks VPN或微軟內部支持網絡上。Databricks限製了可以訪問Genie的用戶集,以及可以授予每個用戶的訪問類型。有關訪問類型,請參見以下部分。

本文檔描述了用於Genie的通用安全流程客戶批準的工作空間登錄特性。

本文檔一般指的是在AWS上運行Databricks的工作空間。有關穀歌Cloud,請參見Genie for Databricks on穀歌Cloud

Databricks會不時地更新Genie的安全控件,本文檔將隨著時間的推移而演進。請查看底部的修改曆史。

幾乎沒有客戶數據存儲在databricks擁有的帳戶中。有關Databricks體係結構的詳細信息,請參見磚體係結構概述

Genie的訪問類型

對Genie的訪問有兩類:工作區訪問和基礎設施訪問。

重要的

對於這兩種類型的訪問,還有一個用於緊急訪問的機製(在票務交互失敗的情況下),它不需要票務。這種訪問很少被使用,需要得到極少數Databricks工作人員的批準。緊急訪問仍然反映在客戶審計日誌中。

訪問web應用程序

Databricks客戶支持人員(或直接擔任支持角色的個人,如解決方案架構師)可以使用Genie請求對Web應用程序的HTTPS訪問,以提供支持。

Databricks支持人員必須輸入客戶的Databricks Web應用程序ID,並提供有效的Salesforce支持票證標識號,該號碼必須與客戶的工作空間相關聯,並在請求訪問時保持Open狀態。在使用Genie訪問您的工作空間之前,支持人員需要獲得您的同意並記錄您的同意。如果Databricks客戶支持人員需要額外的故障排除,他們為Databricks工程團隊創建一個內部工程支持票據。

Databricks工程團隊可以登錄Genie,在web應用程序中請求訪問您的工作空間,以進行進一步的故障排除或緊急支持。Databricks工程團隊遵循與上麵相同的過程,除了他們輸入web應用程序ID和內部工程支持票證(不是客戶支持票證)。

Genie通過一個有時間限製的訪問令牌授予web應用程序訪問權限。在會話時間到期後,必須重複請求過程。

在這一點上,用戶將擁有對工作空間的web瀏覽器訪問權限,就像他們是工作空間管理員一樣。還應用了某些其他安全控製(例如,Genie用戶不能創建長壽命的個人訪問令牌)。Databricks執行威脅建模以識別濫用場景,並提供技術控製以降低風險。

此外,如果您已經配置了審計日誌傳遞,審計日誌將顯示初始的Genie事件和Databricks人員操作。在係統中執行的操作將包含在審計日誌中,類似於來自您自己的用戶的可審計事件。在當前實現中,Databricks用戶jsmith@www.eheci.com顯示為jsmith + dbadmin@www.eheci.com在審計日誌中。

Databricks建立了一個功能叫做客戶批準的工作空間登錄可以讓你控製Genie對web應用程序的訪問。啟用了客戶批準的工作空間登錄功能後,Databricks工作人員無法獲得工作空間級別的訪問權限,除非您允許。

訪問內部核心生產基礎設施係統

隻有Databricks工程組織中支持內部基礎設施的人員才能登錄Genie並訪問Databricks核心生產基礎設施係統。如果基礎設施支持角色之外的Databricks人員請求訪問這些係統,則需要額外的批準。Genie通過有時間限製的TLS客戶端證書授予訪問權限。在會話時間到期後,必須重複請求過程。

控製平麵被細分為微服務,訪問被授予所需的服務。基礎設施訪問不提供對任何客戶的Databricks部署的UI訪問,並且基於服務隔離對數據訪問有限製。beplay体育app下载地址客戶可以通過利用諸如客戶管理的密鑰(Customer-managed Keys)等功能,在控製平麵內加密某些數據(如筆記本、機密、Databricks SQL查詢和查詢曆史),從而進一步降低數據暴露的風險,這為基礎設施Genie訪問這些數據增加了額外的技術障礙。

因為內部核心生產基礎設施係統通常不特定於任何一個客戶的部署,所以這種Genie訪問不會在審計日誌中創建事件,也不會受到啟用CAWL的影響。

Genie的Web應用程序安全控件

通過Web UI(工作空間級訪問)的Genie訪問需要明確地與您的工作空間綁定的支持票或工程票。有一些技術控製要求票證必須打開,工作空間必須出現在特定的字段中。大多數Genie事件源自支持票。您必須顯式地授予訪問權限,要麼在提交票據時單擊複選框,要麼在與支持工程師的文本對話中顯式地批準它。

Genie訪問僅限於在支持客戶方麵發揮作用的一小部分員工。beplay体育app下载地址

Genie係統隻能通過VPN訪問(這需要一個多因素提示符),到Genie的身份驗證也被配置為總是需要一個額外的多因素提示符。

Genie訪問是特定於給定工作區的。例如,如果客戶A授權在某個特定工作空間的支持票證中使用Genie,支持工程師就不能使用該票證訪問客戶B的工作空間,或者訪問客戶A的不同工作空間。

精靈的每次使用都有時間限製。“AWS”和“穀歌Cloud”帳號的設置時間最長為24小時,默認為60分鍾。

如果您啟用了審計日誌傳遞,那麼這些日誌將顯示Genie事件。重要的是,對您的工作空間的初始訪問是由Genie提供便利的,但是之後的活動受普通Databricks規則的約束(就像支持人員就是您的員工一樣)。Databricks工作人員在工作空間中執行的任何操作都會生成審計日誌事件,就像對您的工作人員一樣。

Databricks在內部保留Genie日誌至少一年,並樂於幫助客戶為Genie活動建立警報管道(例如來自使用Genie訪問工作空間的支持人員的不尋常API調用或使用Gebeplay体育app下载地址nie的新支持人員)。Databricks對自動終止帳戶(目前通過人力資源信息係統處理終止時的自動化執行)有強大的技術控製。此外,Databricks每季度執行一次帳戶審查,作為額外的檢查,以防止帳戶未正確終止。

重要的是,對於客戶來說beplay体育app下载地址客戶認可的工作區登錄功能啟用後,隻要客戶配置允許Genie在一段時間內使用,上述安全控製就會生效。當Genie不被允許時,Databricks的工作人員可以通過上述流程,但技術控製將不允許Genie訪問環境。

Genie內部核心基礎設施安全控製

工程師通過命令行訪問Genie(基礎設施級訪問)需要後端工程票務係統中的開放工程票務(或者如上麵所述,在票務係統故障時的緊急訪問)。

用戶必須是支持客戶的工程組的一部分。beplay体育app下载地址

Genie係統隻能通過VPN訪問(這需要一個多因素提示符),到Genie的身份驗證也配置為總是需要一個額外的多因素提示符。

精靈的每次使用都有時間限製。對於AWS和穀歌Cloud環境,最長為24小時,默認為60分鍾。

Databricks在內部保留Genie日誌至少一年。

雖然Databricks對自動終止帳戶有強有力的技術控製(目前在人力資源信息係統處理終止帳戶時通過自動化執行),但Databricks也每季度進行一次帳戶審查,作為額外檢查,以防止帳戶未正確終止。

客戶批準的工作空間登錄

在默認情況下,為AWS帳戶上的Databricks啟用客戶批準的工作空間登錄(CAWL)功能將禁用Databricks工程師和支持人員對該帳戶中所有工作空間的工作空間登錄訪問。如果需要,工作空間管理員可以在帳戶內臨時啟用對受限工作空間的訪問,最長可達48小時。

重要的

CAWL時間持續時間設置限製精靈請求何時可以開始,而不是何時必須結束。一個已經啟動的Genie會話可以保持24小時的開放。

使CAWL

該特性在帳戶級別啟用,必須由Databricks工程師執行。如果需要,請與您的支持人員或帳戶團隊合作,在您的帳戶上啟用此功能。

啟用之後,工作區管理員可以通過查看Manage workspace頁麵上的當前狀態來驗證該特性是否已啟用,如下所示。

配置CAWL

要啟用Databricks工程師對工作區的訪問,請轉到管理控製台中的訪問控製選項卡:

精靈CAWL啟用

當需要讓Databricks工程師和支持人員訪問相關工作區時,工作區管理員可以啟用最多48小時的訪問:

精靈CAWL小時

啟用訪問後,工作區管理員可以跟蹤訪問的CAWL過期時間,並可以在過期時間到期前禁用訪問:

精靈CAWL倒計時

Genie for Databricks on穀歌Cloud

本文檔的大部分內容集中在Databricks在AWS上的部署。相同的流程和規則適用於穀歌Cloud上的Databricks部署,但客戶批準的工作區登錄(CAWL)功能不適用於穀歌Cloud部署。