統一目錄metastore是錯誤

[alesventus]

當我想運行筆記本在磚所有查詢,保存和閱讀需要很長時間,我發現集群事件日誌中的錯誤消息說:Metastore下降。所以,我認為集群是現在無法連接到metastore。可能是這個原因嗎?我試圖創建另一個集群,但相同的結果。任何幫助嗎?聯合目錄的Metastore ADLS代。我們使用的溢價空間。

幾分鍾後,命令完成。但簡單的荷載增量表沒有記錄需要5分鍾左右。

謝謝

[Kaniz]

嗨@alesventus,是的,集群可能becannot metastore連接,這可能是緩慢的原因表現和錯誤消息。你可以檢查eventNodeDiskSpace度量在usage_logs根文件係統驅動主機的虛擬機得到100%,這可能會導致集群下降。

另外,建議將表轉換為統一目錄三角洲表來提高性能。你也可以嚐試從RDS增加用戶連接的數量和執行實例類型的升級。

如果問題仍然存在,您可以檢查問題實例的節點守護進程的日誌,提高Dataplane團隊。

[alesventus]

嗨Kaniz。謝謝你的回複。隻是想添加一些信息。我不確定這個錯誤消息與遺留蜂巢metastore或統一目錄。從一開始我們使用加州大學。我們metastore外部存儲器,見截圖。

這個錯誤發生在集群事件日誌完全6分鍾後開始的集群。我們每次啟動集群,錯誤。

[Angela09]

您可以驗證Metastore在Azure的狀態數據存儲Gen2湖(ADLS Gen2)和確保它已經啟動並運行。如果有一個問題與Metastore服務,它可以影響磚的查詢和操作的性能。

[karthik_p]

@alesventus什麼是數據的大小和什麼類型的集群大小使用。也是你的工作空間區域和metastore區域相同