03-04-2022上午07:34
為什麼複製一個9 gb的文件從一個容器/ dbfs失去我50 gb的內存?(不回來直到我重新啟動集群)
03-16-2022下午08:38
史密斯@James可以伸出來(電子郵件保護)或者請跟這個文檔;
https://docs.microsoft.com/en-us/azure/azure-portal/supportability/how-to-create-azure-support-reque..。
在原帖子查看解決方案
03-04-202207:40我
03-04-2022上午07:56
我想當閱讀從一個目錄複製到RAM和比從那裏將它保存在另一個地方(還有並發讀、寫等所以可能是因為它消耗更多的空間)。隨著集群還有許多空閑內存不是自動清洗。你可以通過使用spark.catalog.clearCache試圖迫使清潔()
03-04-2022上午08:12
謝謝你的意見/建議。不幸的是做spark.cataglog.clearCache()不返回內存/清潔它。
03-04-202209:01我
特別討厭的,因為這意味著我剩下的代碼/未來的記憶缺失這一底線。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。