磚體係結構概述
Databricks統一數據分析平台,由Apache Spark的最初創造者Beplay体育安卓版本提供,使數據團隊能夠協作,以解決一些世界上最棘手的問題。
高級體係結構
Databricks的結構支持安全的跨職能團隊協作,同時保持大量的後端服務由Databricks管理,因此您可以專注於您的數據科學、數據分析和數據工程任務。
Databricks是一家控製飛機和一個數據平麵.
控製平麵包括Databricks在自己的AWS帳戶中管理的後端服務。筆記本命令和許多其他工作空間配置存儲在控製平麵中,並在靜止時進行加密。
數據平麵是處理數據的地方。
對於大多數Databricks計算,計算資源在AWS帳戶中,稱為經典的數據平麵.這是Databricks用於筆記本、作業和Classic Databricks SQL倉庫的數據平麵類型。
如果啟用“Databricks SQL”的“無服務器計算”,則“Databricks SQL”的計算資源處於共享狀態Serverless數據平麵.筆記本電腦、作業和Classic Databricks SQL倉庫的計算資源仍然位於客戶帳戶的Classic數據平麵中。看到Serverless計算.
您可以使用Databricks連接器,以便您的集群可以連接到它外部數據源在您的AWS帳戶之外獲取數據或進行存儲。也可以從外部獲取數據流數據來源,如事件數據、流數據、物聯網數據等。
盡管架構可能因自定義配置而有所不同,但下圖表示AWS環境中Databricks的最常見結構和數據流。
下圖描述了Classic數據平麵的總體架構。有關用於無服務器SQL倉庫的無服務器數據平麵的體係結構詳細信息,請參見Serverless計算.
![磚結構](http://www.eheci.com/docs/docs/_images/databricks-architecture.png)
您的數據湖存儲在您自己的AWS帳戶中。
工作結果存儲在你的帳戶中。
交互式筆記本結果存儲在控製平麵(用於在UI中顯示的部分結果)和AWS存儲的組合中。如果希望交互式筆記本結果隻存儲在雲帳戶存儲中,可以要求Databricks代表啟用交互式筆記本產生了客戶帳戶為你的工作空間。注意,一些關於結果的元數據,如圖表列名,繼續存儲在控製平麵中。此功能已在公共預覽.
E2架構
2020年9月,Databricks發布了平台的E2版本,該版本提供:Beplay体育安卓版本
Multi-workspace賬戶:為每個帳戶創建多個工作空間賬戶API 2.0.
Customer-managed vpc:在您自己的VPC中創建Databricks工作空間,而不是采用默認架構,即集群創建在單個AWS VPC中,由Databricks在您的AWS帳戶中創建和配置。
安全集群連接:安全集群連通性也被稱為“無公共IP”,它允許您啟動所有節點都隻有私有IP地址的集群,從而增強了安全性。
被管理服務的客戶管理鍵:(公開預覽):提供KMS密鑰,對databicks管理的控製平麵的筆記本和機密數據進行加密。
加上令牌管理、IP訪問列表、集群策略和IAM憑據傳遞等特性,E2體係結構使AWS上的Databricks平台更安全、更可伸縮、更易於管理。Beplay体育安卓版本
在E2平台上創建新帳戶(除了選定的自定義帳戶外),並且遷移了大多數現有帳戶。Beplay体育安卓版本如果您不確定您的帳戶是否在E2平台上,請與您的Databricks代表聯係。Beplay体育安卓版本