如何升級內部蜂巢元數據存儲的版本嗎

[AlexDavies]

有可能升級的蜂巢metastore版本嗎?

運行spark.conf.get (“spark.sql.hive.metastore.version”)表明它正在運行0.13.0

然而https://docs.microsoft.com/en-us/azure/databricks/release-notes/runtime/7.x-migration apache-hive似乎表明,升級到2.3的版本

我試圖添加以下引發配置

spark.sql.hive.metastore。2.3.7版本spark.sql.hive.metastore。瓶內裝式

但是它導致錯誤的異常堆棧似乎表明其試圖連接到一個外部metastore。我建立一個外部metastore不感興趣

蜂巢metastore版本應該和什麼有什麼我需要做升級嗎?

[Atanu · Accepted solution]

1. spark.sql.hive.metastore。瓶內裝式

你能試著改變每一樣嗎

蜂巢2.3.7(磚運行時的7.0及以上):設置spark.sql.hive.metastore。瓶內裝式。

對於所有其他蜂巢版本,Azure磚建議你下載metastore spark.sql.hive.metastore罐子和設置配置。罐子指使用中描述的程序下載下載的jar metastore罐子,指向他們。

https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore——spark-co……

[AlexDavies]

這似乎沒有解決這個問題。

我們似乎使用蜂巢0.13.0,文檔提到我們應該2.3.7。有什麼我們需要做升級?

運行查詢了

spark.conf.get (spark.sql.hive.metastore.jars) / /內裝式spark.conf.get / / 0.13.0 (“spark.sql.hive.metastore.version”)

設置spark.sql.hive.metastore。瓶內裝式並不改變metastore版本

如何升級我們的內裝式metastore嗎?

[Kaniz]

嗨@Alex戴維斯,

• 你可以試著在“spark.sql.hive.metastore更改設置。版本”在Azure磚集群配置並重啟。

spark.sql.hive.metastore。spark.sql.hive.metastore 2.3版本。瓶內裝式

• 你可以結帳Github頁麵包含蜂巢metastore升級腳本:https://github.com/apache/hive/tree/master/metastore/scripts/upgrade

[匿名]

@Alex戴維斯- Atanu信息幫助解決這個問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

[pantelis_mare]

你好家夥!

Atanu的文章,盡管正確並不能解決問題。是否有官方文檔如何升級內部磚metastore更大版本嗎?如果這是可行的然後我們可以試試Atanu的解決方案(如果需要在這種情況下不確定)