外部亞瘤的自動縮放很慢

您在集群上配置了一個外部metastore，並且啟用了自動伸縮，但是集群不能有效地自動伸縮。原因:你正在複製metastore jar到每個執行程序，而它們隻需要在驅動程序中。每次啟動新的執行程序時，初始化和運行jar都需要一些時間。因此，增加更多的前…

數據太長導致列錯誤

你試圖插入一個結構到一個表，但你得到一個java.sql.SQLException:數據太長列錯誤。查詢是:INSERT INTO COLUMNS_V2 (CD_ID,COMMENT， ' COLUMN_NAME '，TYPE_NAME,INTEGER_IDX) VALUES (?，?，?，?，?)， parameters [103182，，'address…

刪除數據庫而不刪除

默認情況下，DROP DATABASE (AWS | Azure | GCP)命令刪除數據庫，並從文件係統中刪除數據庫關聯的目錄。有時您可能希望刪除數據庫，但保持底層數據庫目錄不變。您可以使用此示例代碼刪除數據庫，而不刪除底層存儲。

如何創建表ddl導入到外部metastore

Databricks支持使用外部metastore代替默認的Hive metastore。您可以將所有的表元數據從Hive導出到外部metastore。使用Apache Spark Catalog API列出metastore中包含的數據庫中的表。使用SHOW CREATE TABLE語句生成ddl並將它們存儲在文件中。使用該文件…

從metastore中刪除帶有損壞元數據的表

有時候你不能從Databricks UI中刪除一個表。使用%sql或spark。SQL刪除表也不工作。產生原因存儲在metastore中的元數據(表模式)損壞。執行Drop table命令時，Spark會先檢查表是否存在，然後再刪除表。由於元數據損壞表Spark c…

用外部Hive亞metastore創建表時出錯

你正在連接到一個外部的MySQL metastore，並試圖創建一個表時，你得到一個錯誤。AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(消息:在添加/驗證類(es)時拋出異常:(conn=21)列長度太大，列'PARAM_VALUE' (max = 16383);使用BLOB或TE…

在azure支持的亞metastore上刪除表時出現AnalysisException

當你試圖在部署在Azure SQL數據庫的外部Hive 2.0或2.1 metastore中刪除一個表時，Databricks拋出以下異常:com.databricks.backend.common.rpc.DatabricksExceptions$SQLExecutionException: org.apache.spark.sql.AnalysisException: org.apache.hadoop. Hive .metadata. hiveexception: MetaException(…

如何排除幾個Apache Hive亞穩態問題

問題1:外部metastore表不可用當您檢查驅動日誌時，您會看到一個堆棧跟蹤，其中包括錯誤Required table missing: WARN查詢:查詢org.apache.hadoop.hive.metastore.model.MDatabase和子類導致沒有可能的候選Required table missing: "DBS" in Catalog "" Schema ""。DataNu……

列出表名

要從metastore中獲取所有的表名，可以使用spark.catalog.listTables()或%sql show tables。如果你觀察獲取詳細信息的持續時間，你會發現spark.catalog.listTables()通常比%sql show tables花費更長的時間。原因spark.catalog.listTables()嚐試先獲取每個表的元數據，然後顯示請求…

如何設置一個嵌入式Apache Hive亞穩態

您可以設置Databricks集群來使用嵌入式metastore。當您隻需要在集群的生命周期內保留表元數據時，可以使用嵌入式metastore。如果集群重啟，元數據將丟失。如果您需要在集群重新啟動後持久化表元數據或其他數據，那麼您應該使用默認的metastore o…

日本性格支持外部亞穩態

你試圖在你的表中使用日本字符，但不斷得到錯誤。使用OPTIONS關鍵字創建一個表，OPTIONS為表提供額外的元數據。您嚐試使用OPTIONS創建一個表，並將字符集指定為utf8mb4。創建默認表。JPN_COLUMN_NAMES(“作成年月”字符串,“計上年月”字符串,“所屬コード”字符串,“生保代理店コード_8……

Parquet時間戳要求Hive metastore 1.2或以上

問題您正在嚐試使用TIMESTAMP創建Parquet表，但您得到一個錯誤消息。SQL語句錯誤:QueryExecutionException: FAILED:執行錯誤，從org.apache.hadoop.hive.ql.exec.DDLTask返回代碼1。unsupportedoperationexception: Parquet不支持時間戳。參見HIVE-6384代碼示例%sql CREATE EXTERN…