訪問數據存儲Gen2湖和Blob存儲Azure

使用Azure Blob文件係統驅動程序(沛富)連接到Azure Blob存儲湖和Azure數據存儲從磚代。磚建議確保進入Azure存儲容器使用Azure服務主體集群配置。

本文詳細介紹如何訪問Azure存儲容器使用:

  • 統一目錄管理外部的位置

  • Azure服務主體

  • SAS令牌

  • 賬戶的鑰匙

您將引發屬性來配置這些憑證計算環境,:

  • 局限於一個磚集群

  • 磚筆記本的作用域

Azure服務主體也可以用來訪問SQL Azure存儲從磚;看到數據訪問配置。

磚推薦使用秘密的範圍用於存儲所有的憑證。

從磚棄用模式來存儲和訪問數據

以下是棄用存儲模式:

直接訪問使用沛富URI Blob存儲或Azure數據存儲Gen2湖

如果您已經正確配置了憑證訪問Azure存儲容器,您可以與資源的存儲賬戶使用uri。磚推薦使用abfss司機更安全。

火花。讀。負載(“abfss: / / <容器名稱> @ < storage-account-name >.dfs.core.windows.net/ < path-to-data >”)dbutils。fs。ls(“abfss: / / <容器名稱> @ < storage-account-name >.dfs.core.windows.net/ < path-to-data >”)
創建表<數據庫- - - - - -的名字>。<表- - - - - -的名字>;複製成<數據庫- - - - - -的名字>。<表- - - - - -的名字>從“abfss: / / container@storageAccount.dfs.core.windows.net/path/to/folder'FILEFORMAT=CSVCOPY_OPTIONS(“mergeSchema”=“真正的”);

訪問Azure數據存儲Gen2或Blob存儲使用OAuth 2.0湖Azure服務主體

你可以安全地訪問數據在Azure存儲賬戶使用OAuth 2.0 Azure Active Directory (Azure廣告)應用程序服務主體進行身份驗證;看到訪問存儲Azure的Active Directory。

service_credential=dbutils。秘密。得到(範圍=“< >範圍”,關鍵=“< service-credential-key >”)火花。相依。集(“fs.azure.account.auth.type < storage-account > .dfs.core.windows.net”。,“OAuth”)火花。相依。集(“fs.azure.account.oauth.provider.type < storage-account > .dfs.core.windows.net”。,“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)火花。相依。集(“fs.azure.account.oauth2.client.id < storage-account > .dfs.core.windows.net”。,“<應用程序id >”)火花。相依。集(“fs.azure.account.oauth2.client.secret < storage-account > .dfs.core.windows.net”。,service_credential)火花。相依。集(“fs.azure.account.oauth2.client.endpoint < storage-account > .dfs.core.windows.net”。,“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)

取代

  • <範圍>磚秘密範圍的名稱。

  • < service-credential-key >的名稱包含客戶的關鍵秘密。

  • < storage-account >Azure存儲賬戶的名稱。

  • <應用程序id >與應用程序(客戶端)IDAzure的活動目錄的應用程序。

  • < directory-id >與目錄(租戶)IDAzure的活動目錄的應用程序。

湖訪問Azure數據存儲Gen2或Blob存儲使用SAS令牌

您可以使用存儲共享訪問簽名(SAS)湖訪問一個蔚藍的數據直接存儲Gen2存儲賬戶。通過情景應用程序,您可以限製訪問存儲賬戶使用臨時令牌和細粒度的訪問控製。

您可以配置SAS標記多個存儲賬戶相同的火花。

請注意

情景應用程序支持在磚運行時7.5及以上。

火花。相依。集(“fs.azure.account.auth.type < storage-account > .dfs.core.windows.net”。,“sa”)火花。相依。集(“fs.azure.sas.token.provider.type < storage-account > .dfs.core.windows.net”。,“org.apache.hadoop.fs.azurebfs.sas.FixedSASTokenProvider”)火花。相依。集(“fs.azure.sas.fixed.token < storage-account > .dfs.core.windows.net”。,“<標記>”)

Azure數據的訪問湖使用帳戶密鑰存儲Gen2或Blob存儲

您可以使用存儲帳戶訪問鍵管理訪問Azure存儲。

火花。相依。集(“fs.azure.account.key < storage-account > .dfs.core.windows.net”。,dbutils。秘密。得到(範圍=“< >範圍”,關鍵=“< storage-account-access-key >”))

取代

  • < storage-account >Azure存儲帳戶名稱。

  • <範圍>磚秘密範圍的名稱。

  • < storage-account-access-key >的名字包含Azure存儲帳戶訪問關鍵的關鍵。

例如筆記本電腦

ADLS Gen2 OAuth 2.0 Azure服務主體的筆記本

在新標簽頁打開筆記本

Azure數據存儲Gen2湖faq和已知問題

看到Azure湖數據存儲Gen2 FAQ。