取消
顯示的結果
而不是尋找
你的意思是:

統一目錄metastore是錯誤

alesventus
新的貢獻者三世

當我想運行筆記本在磚所有查詢,保存和閱讀需要很長時間,我發現集群事件日誌中的錯誤消息說:Metastore下降。所以,我認為集群是現在無法連接到metastore。可能是這個原因嗎?我試圖創建另一個集群,但相同的結果。任何幫助嗎?聯合目錄的Metastore ADLS代。我們使用的溢價空間。

幾分鍾後,命令完成。但簡單的荷載增量表沒有記錄需要5分鍾左右。

謝謝

4回複4

Kaniz
社區經理
社區經理

@alesventus,是的,集群可能becannot metastore連接,這可能是緩慢的原因表現和錯誤消息。你可以檢查eventNodeDiskSpace度量在usage_logs根文件係統驅動主機的虛擬機得到100%,這可能會導致集群下降。

另外,建議將表轉換為統一目錄三角洲表來提高性能。你也可以嚐試從RDS增加用戶連接的數量和執行實例類型的升級。

如果問題仍然存在,您可以檢查問題實例的節點守護進程的日誌,提高Dataplane團隊。

alesventus
新的貢獻者三世

嗨Kaniz。謝謝你的回複。隻是想添加一些信息。我不確定這個錯誤消息與遺留蜂巢metastore或統一目錄。從一開始我們使用加州大學。我們metastore外部存儲器,見截圖。

這個錯誤發生在集群事件日誌完全6分鍾後開始的集群。我們每次啟動集群,錯誤。

alesventus_0 - 1690439546311. - png

Angela09
新的貢獻者二世

您可以驗證Metastore在Azure的狀態數據存儲Gen2湖(ADLS Gen2)和確保它已經啟動並運行。如果有一個問題與Metastore服務,它可以影響磚的查詢和操作的性能。

karthik_p
尊敬的貢獻者

@alesventus什麼是數據的大小和什麼類型的集群大小使用。也是你的工作空間區域和metastore區域相同

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map