用戶內存問題與DLT驅動器

[Lulka]

這就跟你問聲好！

我有一個問題與用戶內存驅動程序(我幾乎幾mb內存的存儲,0執行內存和超過7 gb的JVM堆內存使用)。

它可以嗎?我沒有任何廣播變量,加入或聚合。

所有的管道:

1。我創建了一個20字符串值列表

2。我把這個列表進行迭代,執行以下操作:

一。創建dlt。從流源

b。創建streaming_live_table

c。使用apply_changes scd-1

這7 gb堆內存的司機可以嗎?據我所知,這是一個用戶記憶,但為什麼這麼大?

我如何可以減少嗎?它是一個元數據dlt或smth呢?

這是一個好的方法把python列表進行迭代創建dlt嗎?

希望有人能給一些問題的答案。提前謝謝你

[匿名 · Accepted solution]

@Yuliya Valava:給你許多可能的線程來考慮和實現。

1. 有可能7 gb堆內存的司機被用於存儲元數據與數據處理
2. 遍曆Python列表創建dlt會造成上述內存問題如果dlt被存儲在內存中。你能試著用火花引發處理您的數據。這將允許您處理分配到多個節點,它可以幫助減少內存使用單個節點上
3. 減少內存使用,你也可以嚐試創建一個DLT的所有數據,而不是創建一個新的DLT的每個迭代循環

[Vidula_Khanna]

嗨@Yuliya Valava

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!