Serverless計算

預覽

無服務器SQL倉庫可在公共預覽．

在Databricks平台架構的Serverless計算版本中，計算層存在於Databricks的AWS帳戶Beplay体育安卓版本中，而不是客戶的AWS帳戶中。

在當前版本中，支持使用Serverless計算磚的SQL．管理員可以創建支持即時計算並由Databricks管理的無服務器SQL倉庫(以前稱為SQL端點)。無服務器SQL倉庫使用Databricks的AWS帳戶中的計算集群。將它們與Databricks SQL查詢一起使用，就像您通常使用最初的客戶托管SQL倉庫(現在稱為Classic SQL倉庫)一樣。

Databricks將名稱從SQL端點更改為SQL倉庫，因為在業界，端點指的是與它所連接的網絡進行通信的遠程計算設備，或雲服務的入口點。數據倉庫是一種數據管理係統，它以業務友好的方式存儲來自多個來源的當前和曆史數據，以便更容易地洞察和報告。SQL倉庫準確地描述了這個計算資源的全部功能。

在創建無服務器SQL倉庫之前，必須為您的工作空間啟用Serverless Databricks SQL倉庫．如果您的工作區啟用了無服務器SQL倉庫:

Databricks支持AWS區域中的無服務器SQL倉庫一來就，ap-southeast-2，us-east-1,us-west-2．看到支持Databricks雲和區域．

比較無服務器計算與其他Databricks架構

Databricks是一家控製飛機和一個數據平麵：

  • 控製平麵包括Databricks在自己的AWS帳戶中管理的後端服務。Databricks SQL查詢、筆記本命令和許多其他工作區配置都存儲在控製平麵中，並在靜止時進行加密。

  • 數據平麵是計算資源集群處理數據的平麵。

兩者之間有重要的區別經典的數據平麵(最初的Databricks平台架構)和Beplay体育安卓版本Serverless數據平麵：

  • 對於Classic數據平麵，Databricks計算資源運行在客戶的AWS帳戶中。集群使用查詢(在Databricks SQL中)或筆記本(在數據科學與工程或Databricks機器學習環境中)執行分布式數據分析:

    • 在客戶的AWS帳戶中的每個工作空間的虛擬網絡中創建新的集群。

    • Classic數據平麵具有天然的隔離性，因為它在每個客戶自己的AWS帳戶中運行。Classic數據平麵不是多個客戶的共享資源。beplay体育app下载地址

  • 對於無服務器的數據平麵，Databricks的計算資源運行在AWS為Databricks的帳戶內的一個特殊計算層:

    • 在此版本中，無服務器數據平麵僅用於無服務器SQL倉庫。啟用此功能不會改變Databricks Runtime集群在數據科學與工程或Databricks機器學習環境中的工作方式。

    • Serverless數據平麵是Databricks AWS帳戶中的共享資源，供多個Databricks客戶使用。beplay体育app下载地址

    • 為了保護Serverless數據平麵內的客戶數據，Serverless計算在工作空間的網絡邊界內運行，使用各種安全層來隔離不同的Databricks客戶工作空間和同一客戶的集群之間的附加網絡控製。

Databricks在與工作區的Classic數據平麵相同的AWS區域中創建一個無服務器數據平麵。

工作節點是私有的，這意味著它們沒有公共IP地址。

當Databricks控製平麵與Serverless數據平麵通信時:

  • 對於Databricks SQL Serverless，通信使用私有連接。

  • 對於無服務器實時推斷(模型服務)，通信使用TLS加密通信，連接從控製平麵發起，訪問限製在控製平麵IP地址。

當讀寫與工作區相同區域的AWS S3桶時，Serverless SQL倉庫現在使用AWS網關端點直接訪問S3。當一個Serverless倉庫讀寫您的AWS帳戶中的工作空間的根S3桶和同一區域中的其他S3數據源時，就會發生這種情況。

下圖顯示了Serverless數據平麵和Classic數據平麵之間的重要區別。

比較經典和無服務器數據平麵

有關圖中提到的安全集群連通性的更多信息，請參見安全集群連接．

下表總結了Serverless計算和Databricks的Classic數據平麵體係結構之間的區別，重點關注產品安全性。它不是對這些安全特性的完整解釋或詳細比較。有關無服務器計算安全性的詳細信息，或者如果您對該表中的項目有疑問，請與Databricks代表聯係。

項

無服務器數據平麵(僅AWS)

經典數據平麵(AWS和Azure)

控製平麵資源的位置

磚雲賬戶

磚雲賬戶

數據平麵計算資源位置

無服務器數據平麵(Databricks AWS帳戶中的VPC)

經典數據平麵(客戶雲提供商帳戶中的VPC)

數據平麵計算資源

由數據庫管理的Kubernetes (EKS)集群

Databricks-managed獨立的虛擬機

客戶對數據平麵的訪問

通過Databricks控製平麵訪問

  • AWS:直接訪問客戶的AWS帳戶。通過Databricks控製平麵的額外間接訪問。

  • Azure:對集群的直接隻讀訪問，即使使用VNet注入(客戶管理的VNet)。通過Databricks控製平麵的額外間接訪問。

誰為Databricks SQL未分配的虛擬機付費?

磚

不適用。對於Classic SQL倉庫，不存在未分配vm的概念。在Databricks SQL中，沒有直接等同於筆記本和作業的熱實例池。

誰在啟動倉庫或在Databricks SQL中運行查詢後為vm付費?

客戶根據DBUs付款，直到Auto Stop停止SQL倉庫。

客戶為虛擬機支付AWS費用，客戶基於DBUs支付Databricks費用。

數據平麵使用的VPC

Databricks帳戶中的VPC用於在客戶之間共享，在工作空間和集群之間有額外的網beplay体育app下载地址絡邊界。

  • AWS:獨占，表示VPC在客戶的帳戶中。

  • Azure:獨占，VNet在客戶賬戶內。

操作係統映像

Databricks-modified雲托管Amazon-linux2

由數據庫管理的Ubuntu或CentOS

管理VPC默認出口的技術

數據庫公司創建的AWS互聯網網關

雲提供的默認互聯網網關或負載均衡器

自定義VPC和防火牆

沒有

是的

定製CIDR範圍

沒有

是的

公共ip

沒有

安全集群連接

  • 禁用時，每個虛擬機對應一個公網IP。

  • 啟用時(默認)，虛擬機不提供公網ip。

為Databricks Runtime集群提供容器級網絡隔離

使用Kubernetes網絡策略

使用Databricks-managediptable規則

針對Databricks Runtime集群的vm級網絡隔離

安全組隔離

VPC (AWS) / VNet (Azure)安全組與隔離

虛擬機隔離

集群內的虛擬機之間可以通信，但不允許其他集群的流量進入。

集群內的虛擬機之間可以通信，但不允許其他集群的流量進入。

控製平麵與數據平麵的通信

對於Databricks SQL Serverless，通信使用私有連接。對於無服務器實時推斷，通信使用直接TLS加密通信，從控製平麵發起連接，訪問限製在控製平麵IP地址。

安全集群連接

  • 啟用時(AWS E2和Azure默認):單個虛擬機在創建集群時連接到控製平麵的SCC中繼

  • 關閉時:控製平麵通過公網ip連接單個虛擬機。

初始部署的憑據

Databricks內部IAM角色

  • AWS:客戶提供的IAM角色。beplay体育app下载地址

  • Azure:沒有必要的。

用於常規數據平麵操作的憑據

磚調用sts: AssumeRoleon客戶提供IAM角色。

  • AWS:使用客戶提供的實例配置文件運行的虛擬機(beplay体育app下载地址sts: PassRole）.

  • Azure:第一方應用令牌。

DBFS根目錄和工作空間係統數據的存儲位置

Customer在客戶帳戶中創建S3桶，作為工作區創建的一部分。

  • AWS:客戶在客戶帳戶中創建S3桶，作為工作區創建的一部分。

  • Azure: Databricks在客戶帳戶中創建blob存儲，作為工作空間創建的一部分。