03-04-2022上午07:34
為什麼複製一個9 gb的文件從一個容器/ dbfs失去我50 gb的內存?(不回來直到我重新啟動集群)
03-11-202208:57我
嗨@James史密斯鏈接這個問題或許可以幫助你。
03-11-2022上午09:16
嗨,開羅。這篇文章說:
“三角洲緩存為拚花所有文件和工作不僅限於三角洲湖格式文件。三角洲緩存支持讀取鋪文件....……它不支持其他存儲格式如CSV、JSON和獸人。
我從Azure氣管無名動脈瘺管的複製文件數據存儲Gen2湖/ dbfs /強dbutils.fs。cp命令。所以我不認為這篇文章是有關是嗎?
03-16-202203:10我
承認。
03-16-202208:57我
@James史密斯
當前實現dbutils。fs是單線程的,也就是說,不管裏麵的司機上執行或火花的工作,它將在單線程執行遞歸操作循環。
當前的實現對駕駛員執行最初的清單,然後啟動一個火花工作執行上麵的操作。
所以記憶肯定會使用,但問題是未引用的對象應清理幹淨。否則這將導致堆堆積(內存泄漏)。
03-16-202209:06我
嗨@Rajeev Kumar。我理解為什麼內存中使用文件的傳輸。但記憶不應該返回後,文件被移動?我不明白為什麼這並不發生嗎?
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
