不能實例化org.apache.hadoop.hive.metastore錯誤。HiveMetaStoreClient——在試圖創建數據庫

[Karthig]

你好所有的,

我得到org.apache.spark.sql。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: . lang。RuntimeException:無法實例化org.apache.hadoop.hive.metastore.HiveMetaStoreClientwhile trying to create a database

腳本使用

%的sql

使用hive_metastore;

創建數據庫XYZ;

%的sql

創建數據庫XYZ;

%的sql

創建數據庫hive_metastore.XYZ;

倉庫似乎處於啟動狀態

集群的細節

[mroy]

同樣的問題:

大約一個月前開始,我們已經將這些錯誤在工作/工作流已成功運行多年,沒有任何代碼更改。

不知道是由什麼原因導致的,或如何修複,但似乎睡眠/暫停添加一個筆記本正在幫助的開始……所以也許正在初始化在集群上。

工作是運行在DBR 10.4 LTS(包括Apache火花3.2.1之上,Scala 2.12)。

在我們的例子中,很難調試,因為我們使用pyspark和:

/磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j / java_gateway。py __call__(自我,* args) 1302 1303回答= self.gateway_client.send_command(命令)- > 1304 return_value = get_return_value(1305回答,自我。gateway_client,自我。target_id self.name) 1306 /磚/火花/ python / pyspark / sql /跑龍套。py在德科(*,* *千瓦)121 #隱藏除了來自哪裏顯示non-Pythonic 122 # JVM異常消息。其他- - > 123年籌集124從沒有轉換:125提高AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: . lang。RuntimeException:無法實例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient

[Vijaykumarj]

請讓我們知道如果你有任何解決這個問題

[mroy]

仍然沒有解決方案。暫停腳本隻是權宜之計。

問題是在Databrick這邊,沒有什麼我們可以做的,這似乎是變得更糟。

從磚@Vidula卡納:任何反饋嗎?

[mroy]

@Vijay Kumar J:到目前為止,添加一個睡眠/暫停頂部的筆記本已經唯一的作品:

#睡眠/暫停2分鍾,把蜂巢目錄初始化的時候了。導入時間time . sleep (120)

它減少了99%的錯誤。我們仍然讓他們偶爾,也許更長的停頓足以處理最後的1%。

[Vijaykumarj]

但同樣的錯誤,我也試著創建手動使用UI,但同樣的錯誤

HTTP錯誤:500

問題訪問/進口/新表。原因:

com.databricks.backend.common.rpc.SparkDriverExceptions SQLExecutionException美元:org.apache.spark.sql。AnalysisException: org.apache.hadoop.hive.ql.metadata。HiveException: . lang。RuntimeException:無法實例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient