Azure創2 -磚帳戶存儲

[db_noob]

你好每一個人,

我真的新磚,就通過我的apache開發人員認證。

我也有一個認證數據工程與Azure。

一些華麗的語言但我才開始做真正的深他們當我開始一個個人項目我很興奮。

我的問題有訪問賬戶存儲的幫助下通過磚身份管理。

意義:

1 /創建訪問連接器磚

• 創建它的身份,並委托角色賬戶存儲容器+貢獻者。

2 /創建了一個metastore,聯係databrick訪問連接器,連接我的db工作區。

3 /創建憑證和外部的位置。

4 /我可以查詢的容器兩種不同的方法,但不是最後一個。

這麼長時間我試著兩種方式工作得很好

1 /

% sql創建表raw.table;複製到原始。表從“abfss: / / container@accstore.dfs.core.windows.net/' FILEFORMAT = CSV COPY_OPTIONS (“mergeSchema”=“真正的”)

2 /工作完美

% python df = spark.read.schema(模式). csv (“abfss: / / raw@twitterdatalake.dfs.core.windows.net/”,標題= True,逃避=“”,引用=””,多行= True) # inferSchema = True

3 /是行不通的。

% sql drop table如果存在raw.table;創建外部表生。表使用CSV選項(路徑“abfss: / / raw@accstore.dfs.core.windows.net/”,標題“真實”,inferSchema '真的');

FileReadException:當abfss閱讀文件時發生錯誤:REDACTED_LOCAL_PART@accsstore.dfs.core.windows.net/file.csv。引起的:KeyProviderException:未能初始化配置存儲賬戶twitterdatalake.dfs.core.windows.net: fs.azure.account檢測到無效的配置值。主要由:fs.azure.account.key InvalidConfigurationValueException:檢測到無效的配置值

是的,我知道你會問我為什麼你需要這個特殊的方式嗎?

我不知道,我的字眼看見很多考試認證所以我猜這是一個最佳實踐?

furtermore,事實上我不工作是真的很煩人。

有人有一個想法為什麼不工作?

謝謝你！

有一個美好的一天

[etsyal1e2r3]

你應該試著用pyspark在你所有的位置來驗證

df =火花。sql (“select * from < catalog.schema.table >”) df.display ()

這樣做之後,你讓你管理表所需的外部位置路徑當然。

火花。sql(如果不存在“創建模式<模式名稱>管理位置<外部位置url路徑>”)火花。sql(如果不存在“create table < schema name >。<表名稱>管理位置<外部位置url路徑>”)

https://docs.www.eheci.com/sql/language-manual/sql-ref-syntax-ddl-create-schema.html

[Kaniz]

嗨@Erraji德爾,我們一直沒有收到你自從上次反應@Tyler Retzlaff,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[Heikko]

我也一樣,

我已經創建了一個存儲憑證,

我已經創建了外部的位置。

我可以使用複製INTOto複製數據從外部位置,

我可以使用Azure的數據加載UI。

我不能做的是使用火花。讀或db.fs。ls在外部位置將失敗與“fs.azure.account.key無效的配置值檢測”
我的意思是我為什麼需要設置屬性,如果其他地方工作,不是的點創建存儲憑證呢?

[Heikko]

參加辦公室的房子後我意識到,很明顯的外部位置不應該這樣和不支持使用火花。仍然為你需要訪問位置按標準的訪問和方法和存儲憑證是無用的。

然而,在說現在有一個新特性在公共預覽稱為卷,意外驚喜,也有外部卷。和想象,火花,dbfs跑龍套的工作等等。所以我想如果你的用例包括容易從外部存儲器訪問基於文件內容這似乎是路要走。最重要的是您可以使用統一目錄管理訪問和權限。情況下關閉。