如何解決問題,提升外部表統一目錄嗎?

[vexor]

我有一個問題與升級表統一目錄,我得到了錯誤:

簡介:

在SQL語句錯誤:

AnalysisException:

org.apache.hadoop.hive.ql.metadata.HiveException:

表calexception無法獲取。異常拋出時執行查詢:

選擇不同的“org.apache.hadoop.hive.metastore.model。MTable”NUCLEUS_TYPE、A0.CREATE_TIME A0.LAST_ACCESS_TIME, A0.OWNER, A0.RETENTION, A0.IS_REWRITE_ENABLED, A0.TBL_NAME, A0.TBL_TYPE, A0。從中環TBL_ID A0 A0 DBS左外部連接。DB_ID = B0。DB_ID A0的地方。TBL_NAME = ?和B0。“名字”= ?;UpgradeTableCommand ps_dev。“dd_omp”。“calexception”、“hive_metastore’。‘dd_omp’。“calexception”,假的,真的,假的,假的,假的,數據:com.databricks.backend.common.rpc.SparkDriverExceptions SQLExecutionException美元:

有人曾經和外部表升級到統一目錄類似的問題嗎?我找不到一個關於這個問題的線索。完整的錯誤信息。

這是我的火花在集群配置:

spark.sql.hive.metastore。這次1.2.1版本

hive.metastore.schema.verification.record。版本錯誤

spark.databricks.service。端口8787

spark.databricks.driver。enableUserContextForPythonAndRCommands真實

spark.sql.hive.metastore。jar / dbfs /磚/ hive_metastore_jars / *

hive.metastore.schema。驗證錯誤

spark.databricks.delta.preview.enabled真實

spark.databricks.service.server。使真正的

[etsyal1e2r3]

蜂巢metastore是默認metastore磚工作空間內的資源組。除非你叫外部位置“hivemetastore”我不明白這是一個外部的位置。你運行代碼我寄給你嗎?你必須創建一個新目錄表和模式在blob存儲使用管理表。這是首選的方法。磚不建議使用dbfs或hivemetastore數據。

[vexor]

我完全不明白你的意思。我已經創建了外部表hive_metastore目錄為:

創建表hive_metastore.dd_omp.versioncompatibility位置“dbfs: / mnt / {storage_account} / {blob_name} / {path_to_data} ';

(我在這裏使用安裝路徑)

我沒有選擇數據的問題,直到我在集群的高級選項設置蜂窩版本。

我不想讓它管理表,我需要還有外部表,但在統一目錄。

[etsyal1e2r3]

但這是我的觀點,為什麼你安裝dbfs而不是使用外部斑點位置嗎?你應該克隆你的表來管理表與工作區為統一啟用blob metastore目錄。

[vexor]

好的,我明白了,但是現在我不能克隆我的表,因為我有一個錯誤,我前麵所述。我正在尋找解決方案來解決這個問題:

1)當我不設置蜂窩版本在集群的高級選項然後我得到了錯誤:

“拚花不支持時間戳。看到蜂巢- 6384”

2)我發現以上問題的解決方案,我需要設置蜂窩版本至少1.2.1在高級選項的集群。當我做到了,我得到了錯誤,我在我的第一篇文章描述。

[etsyal1e2r3]

你是怎麼讓那張桌子嗎?你就不能讓它在blob的位置呢?