我變得異常“RuntimeException:抓住蜂巢MetaException試圖從蜂巢被過濾分區元數據”。

[匿名]

我有一個拚花dataframe df。我第一次使用df.withColumn添加一列(“版本”,點燃(currentTimestamp)),添加一個數據庫表。資源描述格式拚花和分區的“版本”列。然後我跑MSCK db.tbl修理表。我從這個表然後創建了一個視圖稱為db.tbl_v。

然後我運行下麵的代碼給我錯誤。

瓦爾我= spark.table (db.tbl_v) .filter(坳(col1) > = 0.5) .drop (“col2”)

顯示器(上午)

我已經嚐試:

相同的代碼是在較低的環境。我相信同樣的配置和設置將保持在DEV和刺激的環境。

我有試著創建一個新表。它沒有工作。

當我從db運行select *。tbl_v col1 > = 0.5。我得到一個錯誤的錯誤的SQL語句:UndeclaredThrowableException:

當我從db運行select *。台col1 > = 0.5,我得到的行。

謝謝你閱讀我的問題,感謝你的幫助。

[匿名]

@vikashk84

除了“RuntimeException:抓住蜂巢MetaException試圖從蜂巢”被過濾分區元數據通常發生在有一個問題與蜂巢在磚相關元數據分區。這裏有一些步驟你可以嚐試解決這個問題:

1. 檢查蜂巢Metastore配置:確保正確配置蜂巢Metastore磚。您可以檢查磚的蜂巢Metastore配置設置集群的配置或運行時環境,並驗證正確指向蜂巢Metastore服務。
2. 驗證分區:仔細檢查分區表中的“版本數據庫列。台”是正確定義和匹配中使用的分區列“MSCK修理表”命令。確保正確的分區列數據類型和匹配的數據類型中的“版本”列鋪dataframe“df”。
3. 檢查表的元數據:驗證表元數據是正確更新後運行“MSCK修理表”命令。你可以檢查表元數據在蜂房裏Metastore確保分區正確注冊。
4. 檢查視圖定義:查看視圖”db。tbl_v”定義,以確保它是正確地引用表“db。台”,其分區列“版本”。確保視圖定義正確寫和不包含任何錯誤。
5. 驗證列名稱:檢查中使用的列名稱“過濾”和“下降”操作(“col1”和“col2”)的代碼是正確的和匹配表或視圖中的列名。確保沒有輸入錯誤或列名差異表,視圖,和代碼。

如果你有以上的檢查所有的問題持續下去,可能需要進一步研究環境的具體細節和數據來識別異常的根本原因。