拚花時間戳需要蜂巢metastore 1.2或以上

更新蜂巢metastore版本1.2或以上使用時間戳與拚花表。

寫的rakesh.parija

去年發表在:2022年5月16日

問題

你想創建一個拚花表使用時間戳,但你得到一個錯誤消息。

執行的SQL語句的錯誤:QueryExecutionException:失敗:錯誤,返回代碼從org.apache.hadoop.hive.ql.exec.DDLTask 1。. lang。UnsupportedOperationException:方式拚花不支持時間戳。看到蜂巢- 6384

示例代碼

%如果不存在sql創建外部表testTable (emp_name字符串,joing_datetime時間戳,)分區(日期日期)存儲為拚花位置“/ mnt / < path-to-data > / emp.testTable”

導致

拚花需要一個蜂巢metastore 1.2或以上的版本才能使用時間戳。

刪除

信息

默認的蜂巢metastore 0.13.0磚中使用的客戶端版本運行時。

解決方案

你必須升級蜂巢metastore客戶機集群。

你可以通過向集群添加以下設置火花配置(AWS|Azure|GCP)。

  • 下麵的磚6.6運行時
    spark.sql.hive.metastore。這次1.2.1版本spark.sql.hive.metastore。瓶內裝式
  • 磚運行時7.0及以上
    spark.sql.hive.metastore。jar / dbfs < path-to-downloaded-jars > spark.sql.hive.metastore。這次1.2.1版本
刪除

信息

磚運行時的7.0及以上必須下載metastore罐子和點(AWS|Azure|GCP)磚的詳細文檔。