什麼是Databricks SQL倉庫?

本文介紹了SQL倉庫(以前是SQL端點),並描述了如何使用Databricks SQL UI來處理它們。SQL倉庫是允許您運行的計算資源SQL命令在Databricks SQL中的數據對象。計算資源是在雲中提供處理能力的基礎設施資源。

SQL端點名稱更改為SQL倉庫

Databricks將名稱從SQL端點更改為SQL倉庫,因為它不僅僅是運行SQL命令的API入口點。SQL倉庫是滿足所有數據倉庫需求的計算資源,是Lakehouse平台不可分割的一部分。Beplay体育安卓版本

其他計算資源類型包括數據ricks集群.要使用API處理SQL倉庫,請參見SQL倉庫api 2.0

在你開始之前

當您創建第一個SQL倉庫時,Databricks建議您接受默認值新的SQL倉庫頁麵。但是您可以配置許多選項來滿足您的特定需求。在這些選項中,你應該注意:

  • Serverless SQL倉庫(公共預覽),使用由數據ricks管理的計算資源典型的SQL倉庫,其計算資源在您的AWS帳戶中。無服務器SQL倉庫簡化了SQL倉庫管理並加快了啟動時間。有關Serverless計算的一般信息,請參見Serverless計算.在創建Serverless SQL倉庫之前,必須有一個Databricks工作區管理員為您的工作空間啟用Serverless SQL倉庫

  • 渠道,哪個讓您選擇是否使用當前的SQL倉庫計算版本或預覽的版本。預覽版本可以讓您在它成為Databricks SQL標準之前試用它的功能。利用預覽版本來測試您的查詢和指示板,以應對即將到來的更改。通常情況下,預覽版本在最初預覽發布兩周後升級到當前版本,但有些預覽可能會持續更長時間。您可以通過查看發布說明.Databricks不建議對生產工作負載使用預覽版本。

需求

視圖的SQL倉庫

點擊端點圖標SQL倉庫在側邊欄。

默認情況下,倉庫按州排序(首先運行倉庫),然後按字母順序排序。您可以通過單擊列標題來重新排序列表。

幫助你快速入門,如跟隨時磚SQL快速入門, Databricks創建一個SQL倉庫,名為起動器倉庫自動。這個SQL倉庫是有大小的.你可以編輯或者刪除這個SQL倉庫。

要過濾倉庫列表,請在搜索框中輸入文本:

查看有關倉庫配置的更多信息,包括連接詳細信息、監視和高級設置,單擊倉庫的名稱。

創建一個SQL倉庫

控件創建SQL倉庫新的SQL倉庫或使用SQL API倉庫

控件創建SQL倉庫新的SQL倉庫或使用SQL API倉庫.有關使用API管理無服務器倉庫的詳細信息,請參見使用倉庫API與無服務器SQL倉庫

通過接受所有默認值新的SQL倉庫頁,您可以快速輕鬆地創建高效的高性能SQL倉庫。如果工作負載或環境需要,可以重寫這些默認值。

使用web UI創建SQL倉庫:

  1. 點擊端點Icon-1SQL倉庫在側邊欄。

  2. 點擊創建SQL倉庫打開新的SQL倉庫對話框。

  3. 輸入倉庫的名稱。

  4. 接受默認的倉庫屬性或編輯它們。

    • 集群規模表示可用於運行查詢和儀表板的集群工作人員的數量和計算資源的大小。默認值是超大號.要減少查詢延遲,請增加大小。有關詳細信息,請參見集群規模

    • 自動停止確定倉庫在指定的分鍾數空閑時是否停止。默認為10分鍾。如果禁用Serverless高級選項,建議120分鍾。

      空閑的SQL倉庫繼續積累DBU和雲實例的費用,直到它們停止。

    • 擴展設置發送到倉庫的查詢分布在集群上的最小和最大數量。

      默認情況下,最小為一個,最大為一個集群。

      要為給定查詢處理更多並發用戶,請增加集群計數。要了解Databricks如何向倉庫中添加集群並從倉庫中刪除集群,請參見排隊和自動定量

  5. (可選)配置高級選項

    如果您想做以下任何一項,請展開高級選項

    • 添加標記以幫助監控SQL倉庫的使用情況

    • 關閉Serverless選項

    • 為SQL倉庫配置現貨實例策略

    • 使用Preview通道來測試即將發布的特性

    有關詳細信息,請參見高級選項

    請注意

    如果Serverless不是為您的工作區啟用,你看不到這個選項。

  6. 點擊創建

  7. 做以下其中一項:

    創建並啟動倉庫。

還可以使用磚起程拓殖的提供者而且databricks_sql_endpoint

高級選項

可以通過展開。來配置以下高級選項高級選項控件創建SQL倉庫時的新的SQL倉庫對話框或使用編輯對話框.還可以使用SQL倉庫api 2.0

配置高級選項

添加標簽用於監控使用情況

標簽允許您輕鬆監控組織中的用戶和組使用雲資源的成本。創建或編輯SQL倉庫時,展開高級選項區域將標記指定為鍵-值對。數據ricks將這些標簽應用於雲資源。

切換SQL倉庫類型(Classic或Serverless)。

經典的SQL倉庫使用AWS帳戶中的計算資源。Serverless SQL倉庫(公開預覽)使用“數據ricks”的AWS帳戶中的計算資源。無服務器SQL倉庫簡化了SQL倉庫的配置和使用,並加快了啟動時間。Serverless選項隻有在它已經可用的情況下才可用為工作區啟用

  • 如果為您的工作空間啟用了Serverless SQL倉庫,那麼當您創建SQL倉庫時,它們將是默認值。如果您更喜歡Classic SQL倉庫,請展開高級選項並將Serverless掉了。若要切換回Serverless,請打開該開關。

  • 如果沒有啟用Serverless SQL倉庫,則SQL倉庫始終是Classic SQL倉庫。的Serverless切換不會出現,並且您無法更改倉庫類型。

請注意

如果關閉Serverless,則現貨實例政策選項顯示,帶有默認值成本優化

配置現貨實例策略(僅限經典SQL倉庫)

如果工作空間未啟用Serverless SQL倉庫,或者關閉Serverless選項高級選項,現貨實例政策選項顯示,帶有默認值成本優化

spot實例策略決定工作人員是隻使用按需實例,還是使用按需實例和spot實例的組合。成本優化主要使用現場實例和一個按需實例。可靠性優化隻使用按需實例。

使用預覽頻道

渠道讓您選擇是否使用當前的SQL倉庫計算版本或預覽的版本。預覽版可以讓您在它成為Databricks SQL標準之前試用它的功能。利用預覽通道來測試查詢和指示板,以應對即將到來的更改。您可以了解在最新的預覽版本在發布說明

當前的是默認的。要將SQL倉庫切換到預覽通道,請展開高級選項並選擇預覽

重要的

Databricks建議不要為生產工作負載使用預覽版本。因為隻有管理員才能查看倉庫的屬性,包括它的通道,所以可以考慮指示SQL倉庫在倉庫名稱中使用預覽版本,以便用戶不會無意中將其用於生產工作負載。

啟動、停止或刪除SQL倉庫

  1. 點擊倉庫星逢SQL倉庫在側邊欄。

  2. 單擊,停止運行的倉庫停止

  3. 若要啟動已停止的倉庫,請單擊開始

  4. 若要刪除倉庫,請單擊垂直省略號垂直的省略,然後單擊刪除

編輯SQL倉庫

您可以選擇使用web UI或SQL API倉庫

使用web界麵編輯SQL倉庫:

  1. 點擊端點Icon-3SQL倉庫在側邊欄。

  2. 在“操作”列中,單擊垂直省略號垂直的省略並點擊編輯

  3. 編輯倉庫屬性。

    有關每個可編輯屬性的信息,請參見創建一個SQL倉庫而且高級選項

  4. 點擊保存保存並重新啟動

將Classic SQL倉庫轉換為Serverless SQL倉庫

要了解關於Serverless SQL倉庫的信息,請參見Serverless計算.Serverless選項隻有在它已經可用的情況下才可用為工作區啟用

預覽

中提供無服務器SQL倉庫公共預覽

  1. 點擊端點Icon-3bSQL倉庫在側邊欄。

  2. 單擊一個Classic SQL倉庫。

  3. 單擊編輯按鈕。

  4. 單擊Serverless切換以更改其類型。

  5. 點擊保存保存並重新啟動

配置SQL倉庫權限

為SQL倉庫配置權限:

  1. 點擊端點Icon-4SQL倉庫在側邊欄。

  2. 單擊一個倉庫。

  3. 單擊權限按鈕按鈕。

    出現SQL Warehouse Permissions對話框。倉庫創建者和Databricks管理員有可以管理默認的許可。

    添加權限
  4. 選擇用戶/組和權限。

  5. 點擊添加

  6. 點擊保存

要了解權限級別,請參見SQL倉庫訪問控製

監視SQL倉庫

您可以查看倉庫處理的查詢數量以及分配給倉庫的集群數量。

  1. 點擊端點Icon-5SQL倉庫在側邊欄。

  2. 單擊一個倉庫。

  3. 點擊監控

    一個圖表顯示了過去6個小時內倉庫處理的查詢數量和分配給倉庫的集群數量。

    單擊圖表右上方的時間刻度按鈕可以更改顯示的周期。例如,下麵的截圖顯示了7天內的這些統計數據:

    監控倉庫

    請注意

    隻有在以下情況下,群集計數才能大於1擴展啟用並配置。

集群規模

本節中的表將SQL倉庫集群大小映射到Databricks集群驅動程序大小和worker計數。驅動程序大小隻適用於Classic SQL倉庫。

請注意

對於Serverless倉庫,對於同等的集群大小,在某些情況下,集群大小可能使用與經典倉庫文檔中列出的實例類型不同的實例類型。通常,用於Serverless倉庫的集群大小的性價比與用於Classic倉庫的類似。

集群規模

驅動程序的實例類型(僅適用於經典倉庫)

工人數

2 x-small

i3.2xlarge

1

X-Small

i3.2xlarge

2

i3.4xlarge

4

媒介

i3.8xlarge

8

i3.8xlarge

16

超大號

i3.16xlarge

32

2超大號

i3.16xlarge

64

3從小到大

i3.16xlarge

128

4超大號

i3.16xlarge

256

所有worker的實例大小為i3.2xlarge。

排隊和自動定量

Databricks根據計算結果的成本限製分配給SQL倉庫的集群上查詢的數量。每個倉庫的集群擴展是基於查詢吞吐量、傳入查詢的速度和隊列大小。Databricks根據處理所有當前運行的查詢、所有排隊的查詢和預計在接下來的兩分鍾內進入的查詢所需的時間來添加集群,如下所示:

  • 不到2分鍾,不要上檔次。

  • 2 ~ 6分鍾,添加1個集群。

  • 6 ~ 12分鍾,添加2個集群。

  • 12 ~ 22分鍾,添加3個集群。

否則,預期查詢負載每增加15分鍾,Databricks就會增加3個集群和1個集群。

此外,如果查詢在隊列中等待了5分鍾,那麼倉庫總是會伸縮。

如果負載低15分鍾,Databricks就會降低SQL倉庫的規模。它保持足夠的集群來處理過去15分鍾內的峰值負載。例如,如果峰值負載是25個並發查詢,則Databricks保留3個集群。

查詢排隊

當分配給倉庫的所有集群都在滿負荷執行查詢時,或者當倉庫處於開始狀態。

元數據查詢(例如,描述<表>)和狀態修改查詢(例如)永遠不會排隊,除非倉庫在開始狀態。

查詢路由

Databricks路由查詢如下:

  • 新會話:到負載最小的集群。

  • 現有會話:到為該會話運行前一個查詢的集群。如果該集群沒有可用容量,查詢將被路由到負載最少的集群。