取消
顯示的結果
而不是尋找
你的意思是:

使用dbutils時失去了記憶

GC-James
貢獻者

為什麼複製一個9 gb的文件從一個容器/ dbfs失去我50 gb的內存?(不回來直到我重新啟動集群)

圖像

17日回複17

嗨@James史密斯鏈接這個問題或許可以幫助你。

嗨,開羅。這篇文章說:

“三角洲緩存為拚花所有文件和工作不僅限於三角洲湖格式文件。三角洲緩存支持讀取鋪文件....……支持其他存儲格式如CSV、JSON和獸人

我從Azure氣管無名動脈瘺管的複製文件數據存儲Gen2湖/ dbfs /強dbutils.fs。cp命令。所以我不認為這篇文章是有關是嗎?

Kaniz
社區經理
社區經理

承認。

rajeev_thakur_c
新的貢獻者三世
新的貢獻者三世

@James史密斯

當前實現dbutils。fs是單線程的,也就是說,不管裏麵的司機上執行或火花的工作,它將在單線程執行遞歸操作循環。

當前的實現對駕駛員執行最初的清單,然後啟動一個火花工作執行上麵的操作。

所以記憶肯定會使用,但問題是未引用的對象應清理幹淨。否則這將導致堆堆積(內存泄漏)。

嗨@Rajeev Kumar。我理解為什麼內存中使用文件的傳輸。但記憶不應該返回後,文件被移動?我不明白為什麼這並不發生嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map