我們在Azure使統一目錄,我們有一個要求在hive_metastore創建外部表。我們已經配置了ADLS Gen2,通過使用不同的訪問方法,ADLS Gen 2支持我們創造了外部表。我們可以查看數據通過筆記本運行select查詢,但當我們試圖查看表在hive_metastore目錄數據,能夠看到表名,但是當我們選擇那張桌子,我們。
ADLS Gen2訪問配置
service_credential = dbutils.secrets.get(範圍= " < >範圍”,關鍵= < service-credential-key >)
spark.conf.set (“fs.azure.account.auth.type。< storage-account > .dfs.core.windows.net”、“OAuth”)
spark.conf.set (“fs.azure.account.oauth.provider.type。< storage-account > .dfs.core.windows.net”、“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”)
spark.conf.set (“fs.azure.account.oauth2.client.id。< storage-account > .dfs.core.windows.net”、“<應用程序id >”)
spark.conf.set (“fs.azure.account.oauth2.client.secret。< storage-account > .dfs.core.windows.net”, service_credential)
spark.conf.set (“fs.azure.account.oauth2.client.endpoint。< storage-account > .dfs.core.windows.net”、“https://login.microsoftonline.com/ < directory-id > / oauth2 /令牌”)
“失敗初始化配置”
我們已經配置了數據訪問配置設置和添加服務憑證,我們也試圖添加“spark.hadoop.fs.azure.account.key.hiveexternalstore.blob.core.windows.net <鍵>”但我們仍無法查看表
@Hubert杜德克丫你是對的,當我們使用外部位置,使加州大學和創建外部表我們可以視圖使用選擇stameent從筆記本(我們需要運行訪問關鍵代碼),但當我們訪問密鑰添加到集群或sql數據倉庫和登錄- > hive_metastore,我們能夠看到表,但當我們點擊表我們的問題。
請查收下麵的查詢
創建外部表test.hiveextmount
使用δ
“abfss: / /位置(電子郵件保護)/表”
SELECT * from CSV. abfss: / /(電子郵件保護)/表”;
根據數據磚如果我們也使加州大學如果我們不指定目錄,我們應該能夠創建外部/管理表hive_metastore metastore違約。我們可以把舊表,我們使用山當我們創建wasbs類型。後改變wasbs abfss和使用上麵查詢,當我們創建表然後我們開始看到問題。
如果我們新目錄下創建表3級名稱空間,工作好。但作為一個備份hive_metastore赤也,如加州大學有很多的局限性