取消
顯示的結果
而不是尋找
你的意思是:

為什麼我不能查詢一個表的一個集群,但是從另一個集群在同一個工作區可以查詢嗎

jdhao
新的貢獻者二世
我有兩個集群A, B在同樣azure磚工作區。在集群,在我的筆記本,我想查詢一個表:“SELECT * FROM some_table限製5”。它顯示了一些權限錯誤。在集群B,如果我運行相同的sql查詢,它沒有錯誤。

我認為表metastore下訪問所有集群在工作區,但顯然我錯了。

在集群級別的設置,能解釋這個問題嗎?

4回複4

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

檢查任何火花配置或init腳本不同的兩個集群。

jdhao
新的貢獻者二世

嗨Lakshay:

我兩個集群的配置相比,可以看出,集群,我可以執行SQL查詢,它有更多的火花,配置的關鍵這些額外的配置:

spark.databricks.acl.dfAclsEnabled
spark.databricks.cluster.profile
spark.databricks.repl.allowedLanguages
spark.hadoop.fs.adls.oauth2.access.token.provider.type
spark.hadoop.fs.adls.oauth2.client.id
spark.hadoop.fs.adls.oauth2.credential
spark.hadoop.fs.adls.oauth2.refresh.url
spark.hadoop.fs.azure.account.auth.type.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth.provider.type.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.endpoint.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.id.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.secret.datalakelakeprdwe002.dfs.core.windows.net

可以檢查這些額外設置影響行為的哪一個?

Lakshay
尊敬的貢獻者三世
尊敬的貢獻者三世

@jdhao,

我看到很多款ADLS相關認證(前3除外)。所有這些配置需要當你想訪問數據存儲在ADLS。

jdhao
新的貢獻者二世

好的,我明白了,也許ADLS物理存儲表,但是缺乏一個集群的身份驗證信息,所以我們不能查詢的表。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map