什麼是Databricks SQL倉庫?
本文介紹了SQL倉庫(以前是SQL端點),並描述了如何使用Databricks SQL UI來處理它們。SQL倉庫是允許您運行的計算資源SQL命令在Databricks SQL中的數據對象。計算資源是在雲中提供處理能力的基礎設施資源。
SQL端點名稱更改為SQL倉庫
Databricks將名稱從SQL端點更改為SQL倉庫,因為它不僅僅是運行SQL命令的API入口點。SQL倉庫是滿足所有數據倉庫需求的計算資源,是Lakehouse平台不可分割的一部分。Beplay体育安卓版本
其他計算資源類型包括數據ricks集群.要使用API處理SQL倉庫,請參見SQL倉庫api 2.0.
在你開始之前
當您創建第一個SQL倉庫時,Databricks建議您接受默認值新的SQL倉庫頁麵。但是您可以配置許多選項來滿足您的特定需求。在這些選項中,你應該注意:
Serverless SQL倉庫(公共預覽),使用由數據ricks管理的計算資源典型的SQL倉庫,其計算資源在您的AWS帳戶中。無服務器SQL倉庫簡化了SQL倉庫管理並加快了啟動時間。有關Serverless計算的一般信息,請參見Serverless計算.在創建Serverless SQL倉庫之前,必須有一個Databricks工作區管理員為您的工作空間啟用Serverless SQL倉庫.
渠道,哪個讓您選擇是否使用當前的SQL倉庫計算版本或預覽的版本。預覽版本可以讓您在它成為Databricks SQL標準之前試用它的功能。利用預覽版本來測試您的查詢和指示板,以應對即將到來的更改。通常情況下,預覽版本在最初預覽發布兩周後升級到當前版本,但有些預覽可能會持續更長時間。您可以通過查看發布說明.Databricks不建議對生產工作負載使用預覽版本。
需求
要創建SQL倉庫,您必須具備集群創建Databricks數據科學與工程的權限。
要管理SQL倉庫,您必須具備可以管理Databricks SQL中的permission。
在創建Serverless SQL倉庫之前,必須先有管理員為工作區啟用Serverless SQL倉庫.
視圖的SQL倉庫
點擊SQL倉庫在側邊欄。
默認情況下,倉庫按州排序(首先運行倉庫),然後按字母順序排序。您可以通過單擊列標題來重新排序列表。
幫助你快速入門,如跟隨時磚SQL快速入門, Databricks創建一個SQL倉庫,名為起動器倉庫自動。這個SQL倉庫是有大小的小.你可以編輯或者刪除這個SQL倉庫。
要過濾倉庫列表,請在搜索框中輸入文本:
查看有關倉庫配置的更多信息,包括連接詳細信息、監視和高級設置,單擊倉庫的名稱。
創建一個SQL倉庫
控件創建SQL倉庫新的SQL倉庫或使用SQL API倉庫.
控件創建SQL倉庫新的SQL倉庫或使用SQL API倉庫.有關使用API管理無服務器倉庫的詳細信息,請參見使用倉庫API與無服務器SQL倉庫.
通過接受所有默認值新的SQL倉庫頁,您可以快速輕鬆地創建高效的高性能SQL倉庫。如果工作負載或環境需要,可以重寫這些默認值。
使用web UI創建SQL倉庫:
點擊SQL倉庫在側邊欄。
點擊創建SQL倉庫打開新的SQL倉庫對話框。
輸入倉庫的名稱。
接受默認的倉庫屬性或編輯它們。
(可選)配置高級選項
如果您想做以下任何一項,請展開高級選項:
添加標記以幫助監控SQL倉庫的使用情況
關閉Serverless選項
為SQL倉庫配置現貨實例策略
使用Preview通道來測試即將發布的特性
有關詳細信息,請參見高級選項.
請注意
如果Serverless不是為您的工作區啟用,你看不到這個選項。
點擊創建.
做以下其中一項:
配置倉庫權限並點擊保存.
點擊跳過.
創建並啟動倉庫。
還可以使用磚起程拓殖的提供者而且databricks_sql_endpoint.
高級選項
可以通過展開。來配置以下高級選項高級選項控件創建SQL倉庫時的新的SQL倉庫對話框或使用編輯對話框.還可以使用SQL倉庫api 2.0.
切換SQL倉庫類型(Classic或Serverless)。
經典的SQL倉庫使用AWS帳戶中的計算資源。Serverless SQL倉庫(公開預覽)使用“數據ricks”的AWS帳戶中的計算資源。無服務器SQL倉庫簡化了SQL倉庫的配置和使用,並加快了啟動時間。Serverless選項隻有在它已經可用的情況下才可用為工作區啟用.
如果為您的工作空間啟用了Serverless SQL倉庫,那麼當您創建SQL倉庫時,它們將是默認值。如果您更喜歡Classic SQL倉庫,請展開高級選項並將Serverless掉了。若要切換回Serverless,請打開該開關。
如果沒有啟用Serverless SQL倉庫,則SQL倉庫始終是Classic SQL倉庫。的Serverless切換不會出現,並且您無法更改倉庫類型。
請注意
如果關閉Serverless,則現貨實例政策選項顯示,帶有默認值成本優化.
配置現貨實例策略(僅限經典SQL倉庫)
如果工作空間未啟用Serverless SQL倉庫,或者關閉Serverless選項高級選項,現貨實例政策選項顯示,帶有默認值成本優化.
spot實例策略決定工作人員是隻使用按需實例,還是使用按需實例和spot實例的組合。成本優化主要使用現場實例和一個按需實例。可靠性優化隻使用按需實例。
使用預覽頻道
渠道讓您選擇是否使用當前的SQL倉庫計算版本或預覽的版本。預覽版可以讓您在它成為Databricks SQL標準之前試用它的功能。利用預覽通道來測試查詢和指示板,以應對即將到來的更改。您可以了解在最新的預覽版本在發布說明.
當前的是默認的。要將SQL倉庫切換到預覽通道,請展開高級選項並選擇預覽.
重要的
Databricks建議不要為生產工作負載使用預覽版本。因為隻有管理員才能查看倉庫的屬性,包括它的通道,所以可以考慮指示SQL倉庫在倉庫名稱中使用預覽版本,以便用戶不會無意中將其用於生產工作負載。
將Classic SQL倉庫轉換為Serverless SQL倉庫
要了解關於Serverless SQL倉庫的信息,請參見Serverless計算.Serverless選項隻有在它已經可用的情況下才可用為工作區啟用.
預覽
中提供無服務器SQL倉庫公共預覽.
點擊SQL倉庫在側邊欄。
單擊一個Classic SQL倉庫。
單擊編輯按鈕。
單擊Serverless切換以更改其類型。
點擊保存或保存並重新啟動.
配置SQL倉庫權限
為SQL倉庫配置權限:
點擊SQL倉庫在側邊欄。
單擊一個倉庫。
單擊按鈕。
出現SQL Warehouse Permissions對話框。倉庫創建者和Databricks管理員有可以管理默認的許可。
選擇用戶/組和權限。
點擊添加.
點擊保存.
要了解權限級別,請參見SQL倉庫訪問控製.
監視SQL倉庫
您可以查看倉庫處理的查詢數量以及分配給倉庫的集群數量。
點擊SQL倉庫在側邊欄。
單擊一個倉庫。
點擊監控.
一個圖表顯示了過去6個小時內倉庫處理的查詢數量和分配給倉庫的集群數量。
單擊圖表右上方的時間刻度按鈕可以更改顯示的周期。例如,下麵的截圖顯示了7天內的這些統計數據:
請注意
隻有在以下情況下,群集計數才能大於1擴展啟用並配置。
集群規模
本節中的表將SQL倉庫集群大小映射到Databricks集群驅動程序大小和worker計數。驅動程序大小隻適用於Classic SQL倉庫。
請注意
對於Serverless倉庫,對於同等的集群大小,在某些情況下,集群大小可能使用與經典倉庫文檔中列出的實例類型不同的實例類型。通常,用於Serverless倉庫的集群大小的性價比與用於Classic倉庫的類似。
集群規模 |
驅動程序的實例類型(僅適用於經典倉庫) |
工人數 |
---|---|---|
2 x-small |
i3.2xlarge |
1 |
X-Small |
i3.2xlarge |
2 |
小 |
i3.4xlarge |
4 |
媒介 |
i3.8xlarge |
8 |
大 |
i3.8xlarge |
16 |
超大號 |
i3.16xlarge |
32 |
2超大號 |
i3.16xlarge |
64 |
3從小到大 |
i3.16xlarge |
128 |
4超大號 |
i3.16xlarge |
256 |
所有worker的實例大小為i3.2xlarge。
排隊和自動定量
Databricks根據計算結果的成本限製分配給SQL倉庫的集群上查詢的數量。每個倉庫的集群擴展是基於查詢吞吐量、傳入查詢的速度和隊列大小。Databricks根據處理所有當前運行的查詢、所有排隊的查詢和預計在接下來的兩分鍾內進入的查詢所需的時間來添加集群,如下所示:
不到2分鍾,不要上檔次。
2 ~ 6分鍾,添加1個集群。
6 ~ 12分鍾,添加2個集群。
12 ~ 22分鍾,添加3個集群。
否則,預期查詢負載每增加15分鍾,Databricks就會增加3個集群和1個集群。
此外,如果查詢在隊列中等待了5分鍾,那麼倉庫總是會伸縮。
如果負載低15分鍾,Databricks就會降低SQL倉庫的規模。它保持足夠的集群來處理過去15分鍾內的峰值負載。例如,如果峰值負載是25個並發查詢,則Databricks保留3個集群。