啟用Serverless SQL倉庫

預覽

中提供無服務器SQL倉庫公共預覽．

使用Databricks平台架構的Serverless計算版本，計算層存在於Databricks雲訂閱中，而Beplay体育安卓版本不是客戶的雲訂閱中。支持與Databricks SQL一起使用的無服務器計算。管理員可以創建由Databricks管理的、支持即時計算的無服務器SQL倉庫。無服務器倉庫使用Databricks AWS帳戶中的計算集群。對Databricks SQL查詢使用無服務器倉庫，就像您通常使用原始的客戶托管SQL倉庫(現在被稱為經典SQL倉庫)一樣。

如果您的工作區啟用了Serverless倉庫:

從UI或API創建新的SQL倉庫時，默認情況下是無服務器的，但您也可以創建新的Classic倉庫。
你可以使用UI或API創建Serverless倉庫，或將倉庫轉換為Serverless．

該特性僅影響Databricks SQL。它不影響Databricks Runtime集群在數據科學與工程或Databricks機器學習工作環境中的筆記本和作業的工作方式。運行時集群總是運行在Azure訂閱的Classic數據平麵上。有關更多架構信息，請參見Serverless計算．

才能創建Serverless倉庫，你的組織必須執行幾個主要任務:

任務	誰能做到這一步?	在哪裏完成?
能夠使用Serverless計算為您的帳戶。	帳戶所有者或帳戶管理員。	帳戶控製台的設置頁麵。
為Serverless倉庫啟用一個或多個工作區。	工作空間管理員	SQL管理控製台的設置頁麵。
如果您的工作區使用Databricks SQL的實例配置文件，您可能需要更新它的角色以添加信任關係。	工作空間管理員(確認您的工作空間為Databricks SQL使用了哪個實例概要)和AWS管理員(具有查看和更改AWS IAM策略的權限)(檢查角色的信任關係策略或進行任何必要的更改)。	工作區的Databricks SQL設置頁麵和AWS控製台。

本文描述了如何執行這些步驟。如果您不能執行所有這些角色(例如，您是一個工作區管理員，但不是一個帳戶管理員，或者您沒有訪問您的AWS IAM角色)，您可能需要聯係您組織中的其他人來執行一些步驟。

Databricks將名稱從SQL端點更改為SQL倉庫，因為在行業中，端點指的是與它所連接的網絡通信的遠程計算設備，或者是雲服務的入口點。數據倉庫是一種數據管理係統，它以一種業務友好的方式存儲來自多個源的當前和曆史數據，以便於更容易的洞察和報告。SQL倉庫準確地描述了這個計算資源的全部功能。

需求

您的Databricks帳戶和工作空間必須在平台的E2版本上。Beplay体育安卓版本
您的數據庫工作區必須在高級或更高的定價層．
你的Databricks帳戶不能仍處於免費試用狀態。
您的Databricks帳戶必須沒有合規安全概要帳戶級別啟用。
您的Databricks帳戶必須沒有合規安全概要在工作空間級別為您打算與任何Serverless計算特性(如Serverless倉庫)一起使用的任何工作空間啟用。
以下特性不支持Serverless SQL倉庫和Serverless數據平麵:
- 外部Hive metastore訪問
- 現貨實例政策
- Customer-managed VPC
- 安全集群連接
Databricks支持AWS區域的無服務器SQL倉庫一來就，ap-southeast-2，us-east-1,us-west-2．看到支持數據ricks雲和區域．

還要注意Databricks關於集群大小實例類型和CPU配額的文檔僅適用於Classic倉庫，而不適用於Serverless倉庫。

步驟1:為您的帳戶啟用無服務器計算

在工作空間級別啟用Serverless倉庫之前，組織的所有者或帳戶管理員必須啟用Serverless計算。這是一次性步驟。

請注意

如果不是帳戶所有者或帳戶管理員，則不能執行此步驟。在繼續本文的下一個步驟之前，請聯係帳戶所有者或帳戶管理員。

作為帳戶所有者或帳戶管理員，請轉到功能實現選項卡帳戶控製台的設置頁麵。
旁邊啟用使用Serverless計算，點擊藍色按鈕啟用．

如果藍色按鈕沒有出現，但有文本說啟用，這一步已經完成。繼續步驟2:為工作區啟用Serverless SQL倉庫．
一個彈出窗口顯示同意適用的使用條款。單擊鏈接在新的瀏覽器選項卡中打開適用的術語。完成後，返回到原始選項卡並單擊啟用按鈕。

步驟2:為工作區啟用Serverless SQL倉庫

作為Databricks工作區管理員，進入Databricks SQL中的SQL管理控製台。

請注意

如果您不是工作空間管理員，則無法執行此步驟。聯係工作空間管理員，請求他們啟用Serverless倉庫。

如果您在數據科學與工程或Databricks機器學習工作環境中，您可能需要選擇SQL從側邊欄。單擊Databricks標誌下方的圖標。

進入Databricks SQL後，單擊設置在側邊欄的底部選擇SQL管理控製台．

如果你沒有看到SQL管理控製台菜單項，則您的用戶帳戶不是此工作區的管理員。
在SQL管理控製台中，單擊SQL倉庫設置選項卡。
選擇Serverless SQL倉庫．

如果你沒有看到Serverless SQL倉庫選擇:
- 很可能您的帳戶的使用條款尚未被您的帳戶所有者或帳戶管理員接受。看到步驟1:為您的帳戶啟用無服務器計算．
- 可能是您的帳戶有限製，阻止啟用此功能，例如它不在平台的E2版本上，您的帳戶仍在免費試用，或工作空間使用Beplay体育安卓版本合規安全概要．看到需求．如果您有任何問題，請聯係您的Databricks代表。
向下滾動到頁麵底部並單擊保存更改．

重要的

小心點擊保存更改在導航到另一個頁麵之前，否則更改不會生效。

步驟3:確認或設置用於無服務器SQL倉庫的AWS實例配置文件

實例概要文件是IAM角色的容器，當EC2實例啟動時，您可以使用它向EC2實例傳遞角色信息。您可以選擇配置AWS實例配置文件讓Databricks SQL連接到除根桶以外的AWS S3桶。

如果您已經使用Databricks SQL的實例配置文件，那麼與實例配置文件相關聯的角色需要一個Databricks Serverless計算信任關係語句，以便Serverless倉庫可以使用它。

根據創建實例概要文件的方式和時間，您可能不需要修改角色，因為它可能已經具有信任關係。如果在2022年6月24日之後，作為AWS快速啟動的一部分，作為Databricks工作區創建的一部分創建實例概要文件，那麼您的實例概要文件的角色已經發生了此更改。類似地，如果組織中的任何人使用關於創建實例概要文件的數據ricks文章在2022年6月24日之後，它可能已經有了這份信任關係聲明。

本節介紹如何操作確認或更新與實例概要文件關聯的角色具有信任關係語句。這使您的Serverless倉庫能夠使用該角色訪問您的S3 bucket。

重要的

要執行這些步驟，您必須既是一個Databricks工作區管理員(以確認您的工作區為Databricks SQL使用了哪個實例概要)，又是一個AWS帳戶管理員(以檢查角色的信任關係策略或進行任何必要的更改)。

如果您還沒有查看SQL管理控製台設置頁麵，因為您已經執行了上一節中的步驟，那麼現在就導航到它。
1. 作為Databricks工作區管理員，進入Databricks SQL中的SQL管理控製台。如果您在數據科學與工程或Databricks機器學習工作環境中，您可能需要選擇SQL從側邊欄。單擊Databricks標誌下方的圖標。
  1. 進入Databricks SQL後，單擊設置在側邊欄的底部選擇SQL管理控製台．
2. 在SQL管理控製台中，單擊SQL倉庫設置選項卡。
看看數據安全部分實例配置文件字段。確認您的工作區是否配置為使用AWS實例配置文件，讓Databricks SQL連接到除根桶以外的AWS S3桶。
- 如果正在使用實例概要文件，則其名稱在實例配置文件字段。為下一步做個記錄。
- 如果字段值為沒有一個，你沒有使用實例配置文件訪問工作區根桶以外的S3桶。設置完成。跳到步驟4:測試Serverless SQL倉庫的使用．
確認您的實例概要文件名稱是否與關聯的角色名稱匹配。
1. 在AWS控製台中，轉到IAM服務的角色選項卡．它列出了您帳號中的所有IAM角色。
2. 中的Databricks SQL管理設置中，單擊名稱與實例配置文件名稱匹配的角色數據安全部分實例配置文件您在本節前麵找到的字段。
3. 在摘要區域中，查找的角色是而且實例配置文件是字段。
4. 檢查這兩個字段的最後一部分在最後一個斜杠之後是否有匹配的名稱。例如:
如果您在前麵的步驟中確定角色名稱(角色ARN中最後一個斜杠之後的文本)和實例配置文件名稱(實例配置文件ARN中最後一個斜杠之後的文本)不匹配，編輯實例配置文件注冊指定你的IAM角色ARN。
1. 要編輯實例概要文件，請查看下麵的實例配置文件字段，並單擊配置按鈕。
2. 單擊實例概要文件的名稱。
3. 點擊編輯．
4. 在可選的角色是字段，粘貼與實例概要文件相關聯的角色ARN。這是允許您的實例配置文件使用Databricks SQL Serverless的關鍵步驟，即使角色名稱與實例配置文件名稱不匹配。
5. 點擊保存．
在AWS控製台中，確認或編輯信任關係。
1. 在AWS控製台中IAM服務的角色選項卡，單擊需要修改的角色。
2. 單擊信任關係選項卡。
3. 點擊編輯信任策略．
4. 編輯信任策略JSON。在聲明數組，將以下語句(一個JSON塊)添加到角色的信任策略中。
  使用下麵的文本，但替換sts: ExternalId具有一個或多個的數組磚工作區id表示將使用此角色的工作區。
  要在使用工作區時獲取工作區ID，請檢查URL。例如,在https:// < databricks-instance > / ? o = 6280049833385130，後麵的數字o =是Databricks工作區ID。在這種情況下，工作區ID是6280049833385130．要完成此步驟，您必須找到並複製每個工作空間的工作空間ID號。
  
  重要的
  
  做不改變政策的原則。使用以下策略聲明中的準確值。至關重要的是本金。AWS字段繼續具有該值攻擊:aws:我::790110701330:/ serverless-customer-resource-role角色在你的信任聲明中。它引用一個由Databricks管理的Serverless計算角色。請勿更改此值。在新語句中惟一需要更改的是工作空間id列表。
```
｛“效應”：“允許”，“校長”：｛“AWS”：［“攻擊:aws:我::790110701330:角色/ serverless-customer-resource-role”］}，“行動”：“sts: AssumeRole”，“條件”：｛“StringEquals”：｛“sts: ExternalId”：［“databricks-serverless——< YOUR_WORKSPACE_ID1 >”，“databricks-serverless——< YOUR_WORKSPACE_ID2 >”］｝｝｝
```
  例如:
5. 點擊更新信任策略．

重要的

如果您的實例概要文件在以後發生更改，請重複這些步驟以確保實例概要文件角色的信任關係包含所需的額外語句。

步驟1:為您的工作空間啟用Serverless SQL倉庫

作為Databricks工作區管理員，進入Databricks SQL中的SQL管理控製台。
如果您在數據科學與工程或Databricks機器學習工作環境中，您可能需要選擇SQL從側邊欄。單擊Databricks標誌下方的圖標。

進入Databricks SQL後，單擊設置在側邊欄的底部選擇SQL管理控製台．

如果你沒有看到SQL管理控製台菜單項，則您的用戶帳戶不是此工作區的管理員。
在SQL管理控製台中，單擊SQL倉庫設置選項卡。
選擇Serverless SQL倉庫．
點擊保存更改．

步驟4:測試Serverless SQL倉庫的使用

創建或轉換倉庫:
- 使用SQL倉庫UI創建一個新的Serverless倉庫．注意，默認情況下，新的SQL倉庫是無服務器的。
- 使用REST API創建一個新的無服務器倉庫．注意，默認情況下，新的SQL倉庫是無服務器的。
- 將經典倉庫轉換為無服務器倉庫．
運行一個查詢使用新的Serverless倉庫。

故障排除

如果您的信任關係配置錯誤，集群將失敗，並發送一條消息稱“創建集群的請求失敗，並出現一個異常INVALID_PARAMETER_VALUE: IAM role 不具有所需的信任關係”。

如果出現此錯誤，可能是工作空間id不正確，也可能是沒有對正確的角色正確更新信任策略。

仔細執行其中的步驟步驟3:確認或設置用於無服務器SQL倉庫的AWS實例配置文件更新信任關係。

為無服務器SQL倉庫配置Glue metastore

如果您需要指定AWS Glue metastore或添加額外的數據源配置，請更新數據訪問配置字段。看到數據訪問配置．

重要的

無服務器倉庫支持默認的Databricks metastore和AWS Glue作為metastore，但不支持外部的Hive metastore。