使用dbutils時失去了記憶

[GC-James]

為什麼複製一個9 gb的文件從一個容器/ dbfs失去我50 gb的內存?(不回來直到我重新啟動集群)

[GC-James]

[Hubert_Dudek1]

我想當閱讀從一個目錄複製到RAM和比從那裏將它保存在另一個地方(還有並發讀、寫等所以可能是因為它消耗更多的空間)。隨著集群還有許多空閑內存不是自動清洗。你可以通過使用spark.catalog.clearCache試圖迫使清潔()

[GC-James]

謝謝你的意見/建議。不幸的是做spark.cataglog.clearCache()不返回內存/清潔它。

[GC-James]

特別討厭的,因為這意味著我剩下的代碼/未來的記憶缺失這一底線。