這就跟你問聲好!
我有一個問題與用戶內存驅動程序(我幾乎幾mb內存的存儲,0執行內存和超過7 gb的JVM堆內存使用)。
它可以嗎?我沒有任何廣播變量,加入或聚合。
所有的管道:
1。我創建了一個20字符串值列表
2。我把這個列表進行迭代,執行以下操作:
一。創建dlt。從流源
b。創建streaming_live_table
c。使用apply_changes scd-1
這7 gb堆內存的司機可以嗎?據我所知,這是一個用戶記憶,但為什麼這麼大?
我如何可以減少嗎?它是一個元數據dlt或smth呢?
這是一個好的方法把python列表進行迭代創建dlt嗎?
希望有人能給一些問題的答案。提前謝謝你