為什麼我不能查詢一個表的一個集群,但是從另一個集群在同一個工作區可以查詢嗎

[jdhao]

我有兩個集群A, B在同樣azure磚工作區。在集群,在我的筆記本,我想查詢一個表:“SELECT * FROM some_table限製5”。它顯示了一些權限錯誤。在集群B,如果我運行相同的sql查詢,它沒有錯誤。

我認為表metastore下訪問所有集群在工作區,但顯然我錯了。

在集群級別的設置,能解釋這個問題嗎?

[Lakshay]

檢查任何火花配置或init腳本不同的兩個集群。

[jdhao]

嗨Lakshay:

我兩個集群的配置相比,可以看出,集群,我可以執行SQL查詢,它有更多的火花,配置的關鍵這些額外的配置:

spark.databricks.acl.dfAclsEnabled
spark.databricks.cluster.profile
spark.databricks.repl.allowedLanguages
spark.hadoop.fs.adls.oauth2.access.token.provider.type
spark.hadoop.fs.adls.oauth2.client.id
spark.hadoop.fs.adls.oauth2.credential
spark.hadoop.fs.adls.oauth2.refresh.url
spark.hadoop.fs.azure.account.auth.type.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth.provider.type.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.endpoint.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.id.datalakelakeprdwe002.dfs.core.windows.net
spark.hadoop.fs.azure.account.oauth2.client.secret.datalakelakeprdwe002.dfs.core.windows.net

可以檢查這些額外設置影響行為的哪一個?

[Lakshay]

嗨@jdhao,

我看到很多款ADLS相關認證(前3除外)。所有這些配置需要當你想訪問數據存儲在ADLS。

[jdhao]

好的,我明白了,也許ADLS物理存儲表,但是缺乏一個集群的身份驗證信息,所以我們不能查詢的表。