取消
顯示的結果
而不是尋找
你的意思是:

磚SQL不能溝通與外部蜂巢Metastore Postgre上運行SQL

saltuk
貢獻者

我已經創建了一個溢價在Azure網站集群。沒有問題數據科學與工程(DSAE),而我是綁定SQL蜂巢metastore Postgre。我做了所有設置通過全球init腳本從管理控製台。

然而當我試著調整相同設置磚SQL,我得到錯誤:

Org.apache.hadoop.hive.ql.metadata。HiveException: . lang。RuntimeException:無法實例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

設置如下書麵(數據訪問配置)。我不能看到任何其他日誌數據磚SQL,我不能聞任何其他原因。

spark.hadoop.fs.azure.account.auth.type.DataLake.dfs.core.windows.net OAuth spark.hadoop.fs.azure.account.oauth.provider.type.DataLake.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2。ClientCredsTokenProvider spark.hadoop.fs.azure.account.oauth2.client.id.DataLake.dfs.core.windows.net spark.hadoop.fs.azure.account.oauth2.client.secret.DataLake.dfs.core.windows.net{{秘密/ Veloxity / VeloxityDateLakeApplicationID}}{{秘密/ Veloxity / VeloxityDataLakeSecretID}} spark.hadoop.fs.azure.account.oauth2.client.endpoint.DataLake.dfs.core.windows.nethttps://login.microsoftonline.com/{{秘密/ Veloxity / VeloxityTenantID}} / oauth2 /令牌spark.hadoop.javax.jdo.option。ConnectionURL jdbc: postgresql: / / # # # # # # # # # .postgres.database.azure.com: 5432 / databricks_metastore ? ssl = truespark.hadoop.javax.jdo.option。ConnectionUserName # # # # # # # # @ # # # # # # # # # # .postgres.database.azure.com spark.hadoop.javax.jdo.option。ConnectionPassword # # # # # # # # # spark.hadoop.javax.jdo.option。ConnectionDriverName org.postgresql。司機spark.sql.hive.metastore。maven spark.sql.hive.metastore jar。版本3.1.0 spark.hadoop.datanucleus。fixedDatastore假spark.hadoop.hive.metastore.schema。驗證錯誤

我讀過寫的問題@prasadvaze和答案從@Prabakar Ammeappin然而我無法找到解決方案。我已經改變”. . metastore。jar maven”或試圖更新版本還沒有工作。

你能幫我嗎?

1接受解決方案

接受的解決方案

saltuk
貢獻者

發現soluttion:

spark.hadoop.javax.jdo.option。ConnectionURL jdbc: postgresql: / / # # # # # # # # # .postgres.database.azure.com: 5432 / databricks_metastore ? ssl = true

需要

spark.hadoop.javax.jdo.option。ConnectionURL jdbc: postgresql: / / # # # # # # # # # .postgres.database.azure.com: 5432 / databricks_metastore ? sslmode =要求

在原帖子查看解決方案

7回複7

User16764241763
尊敬的貢獻者

你好@saltuk bozok

你是使用serverless SQL端點嗎?

//www.eheci.com/blog/2021/08/30/announcing-databricks-serverless-sql.html

一些不支持相依Serverless端點如上所述

https://docs.www.eheci.com/sql/admin/data-access-configuration.html

spark.sql.hive.metastore。* (spark.sql.hive.metastore。jar和spark.sql.hive.metastore.jars。Serverless SQL端點的路徑是不支持的。)

嗨@Arvind強奸

我不使用serverless SQL端點。我沒有實施BI工具和選項是不出現在我的管理控製台。

圖像

Hubert_Dudek1
尊敬的貢獻者三世

對我來說,它看起來像一個外部蜂巢metastore模式問題。

你可以嚐試添加選項”spark.sql.hive.metastore.schema。驗證錯誤的”(或tryu更新模式)

由於@Hubert杜德克,

我有試過。但是問題仍然相同。得到同樣的錯誤。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map