兩個星期前——最後一次編輯兩個星期前
當我想運行筆記本在磚所有查詢,保存和閱讀需要很長時間,我發現集群事件日誌中的錯誤消息說:Metastore下降。所以,我認為集群是現在無法連接到metastore。可能是這個原因嗎?我試圖創建另一個集群,但相同的結果。任何幫助嗎?聯合目錄的Metastore ADLS代。我們使用的溢價空間。
幾分鍾後,命令完成。但簡單的荷載增量表沒有記錄需要5分鍾左右。
謝謝
嗨@alesventus,是的,集群可能becannot metastore連接,這可能是緩慢的原因表現和錯誤消息。你可以檢查eventNodeDiskSpace度量在usage_logs根文件係統驅動主機的虛擬機得到100%,這可能會導致集群下降。
另外,建議將表轉換為統一目錄三角洲表來提高性能。你也可以嚐試從RDS增加用戶連接的數量和執行實例類型的升級。
如果問題仍然存在,您可以檢查問題實例的節點守護進程的日誌,提高Dataplane團隊。
兩個星期前
嗨Kaniz。謝謝你的回複。隻是想添加一些信息。我不確定這個錯誤消息與遺留蜂巢metastore或統一目錄。從一開始我們使用加州大學。我們metastore外部存儲器,見截圖。
這個錯誤發生在集群事件日誌完全6分鍾後開始的集群。我們每次啟動集群,錯誤。
您可以驗證Metastore在Azure的狀態數據存儲Gen2湖(ADLS Gen2)和確保它已經啟動並運行。如果有一個問題與Metastore服務,它可以影響磚的查詢和操作的性能。
@alesventus什麼是數據的大小和什麼類型的集群大小使用。也是你的工作空間區域和metastore區域相同
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。