微軟Azure突觸Lakehouse聯盟

預覽

這個特性是在公共預覽。

本文描述了如何設置Lakehouse聯合會在Azure上運行聯邦查詢突觸(SQL數據倉庫)的數據不是由磚。更多地了解Lakehouse聯合會使用Lakehouse聯合運行查詢。

連接到Azure突觸使用Lakehouse聯邦數據庫(SQL數據倉庫),你必須創建下麵的磚統一目錄metastore:

  • 一個連接你的Azure突觸數據庫(SQL數據倉庫)。

  • 一個外國目錄鏡子你Azure突觸在聯合目錄數據庫(SQL數據倉庫),這樣您就可以使用統一目錄查詢語法和數據管理工具來管理數據磚用戶對數據庫的訪問。

在你開始之前

工作要求:

  • 工作區為統一啟用目錄。

計算要求:

  • 從你的磚運行的集群或網絡連接SQL倉庫到目標數據庫係統。看到網絡對Lakehouse聯合會的建議。

  • 磚集群必須使用磚集群運行時13.1或更高版本和共享訪問模式。

  • SQL必須讚成或Serverless倉庫。

權限要求:

  • 創建一個連接,你必須是一個metastore管理員或用戶創建連接特權在統一目錄metastore連接到工作區。

  • 創建一個外國目錄,你必須有創建目錄許可metastore和連接的所有者或有創建外國目錄特權的連接。

額外的權限需求中指定的每個任務部分。

創建一個連接

指定路徑和憑證的連接來訪問外部數據庫係統。創建一個連接,您可以使用瀏覽器或數據創建連接SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:Metastore管理員或用戶創建連接特權。

  1. 在你的磚工作區,點擊數據圖標數據。

  2. 在左窗格中,展開外部數據菜單並選擇連接。

  3. 點擊創建連接。

  4. 輸入一個用戶友好的連接名。

  5. 選擇一個連接類型的SQLDW。

  6. 輸入以下為Azure突觸連接屬性的實例。

    • 主機:例如,sqldws-demo.database.windows.net。

    • 港口:例如,1433年

    • trustServerCertificate:默認為假。當設置為真正的,傳輸層使用SSL加密通道,繞過了證書鏈驗證信任。離開這個設置為默認的,除非你有一個特定的需要繞過信任驗證。

    • 用戶

    • 密碼

  7. (可選)單擊測試連接確認它的工作原理。

  8. (可選)添加一個評論。

  9. 點擊創建。

運行以下命令在筆記本或磚的SQL查詢編輯器。

創建連接<連接- - - - - -的名字>類型sqldw選項(主機“<主機名>”,港口<口>的,用戶“用戶> <”,密碼“<密碼>”);

我們建議您使用磚秘密而不是純文本字符串為敏感值等憑證。例如:

創建連接<連接- - - - - -的名字>類型sqldw選項(主機“<主機名>”,港口<口>的,用戶秘密(“< secret-scope >”,“< secret-key-user >”),密碼秘密(“< secret-scope >”,“< secret-key-password >”))

設置機密信息,請參閱保密管理。

創建一個外國目錄

外國目錄鏡像數據庫在外部數據係統,這樣您就可以查詢和管理使用磚和統一訪問數據在數據庫目錄。創建一個外國目錄,您使用一個連接到數據源已經定義。

創建一個外國目錄,您可以使用瀏覽器或數據創建外國目錄SQL命令在磚磚筆記本或SQL查詢編輯器。

權限要求:創建目錄許可metastore和連接的所有權或創建外國目錄特權的連接。

  1. 在你的磚工作區,點擊數據圖標數據。

  2. 單擊創建目錄按鈕。

  3. 在創建一個新的目錄對話框中,輸入一個名稱的目錄和選擇一個類型的外國。

  4. 選擇連接提供對數據庫的訪問,你想鏡子作為統一目錄編目。

  5. 輸入的名稱數據庫您想要鏡子作為一個目錄。

  6. 點擊創造。

運行以下SQL命令在筆記本或磚SQL編輯器。物品在括號中是可選的。替換占位符的值:

  • <目錄名稱>:磚的目錄的名稱。

  • <名稱>:連接對象路徑,指定了數據源和訪問憑證。

  • <數據庫名稱>:數據庫的名稱你想鏡子磚的一個目錄。

創建外國目錄(如果不存在]<目錄- - - - - -的名字>使用連接<連接- - - - - -的名字>選項(數據庫“<數據庫名稱>”);

支持下推

以下支持疊加:

  • 過濾器

  • 預測

  • 限製

  • 連接

  • 總量(平均統計,最大值、最小值、StddevPop StddevSamp,和,VarianceSamp)

  • 函數(字符串函數和其他雜項功能,如別名,演員陣容,排序方式)

  • 排序

以下不支持疊加:

  • 窗函數

數據類型的映射

當你閱讀從突觸火花/ SQL數據倉庫,數據類型地圖如下:

突觸類型

火花類型

十進製、金錢、數字smallmoney

DecimalType

短整型

ShortType

非常小的整數

ByteType

int

IntegerType

長整型數字

LongType

真正的

FloatType

浮動

倍增式

char、nchar ntext nvarchar,文本,uniqueidentifier varchar、xml

StringType

二進製、地理、幾何、形象、時間戳、udt varbinary

BinaryType

位

BooleanType

日期

DateType

datetime, datetime, smalldatetime,時間

TimestampType / TimestampNTZType *

*當你閱讀從突觸/ SQL數據倉庫(SQLDW) SQLDW日期時間被映射到火花TimestampType如果preferTimestampNTZ=假(默認)。SQLDW日期時間被映射到TimestampNTZType如果preferTimestampNTZ=真正的。