你好,
我麵臨一個問題大的壓縮包解壓,適合在內存中我不得不限製火花同時處理太多的文件我更改以下屬性8核心vm集群:
spark.task。cpu 4
此設置閾值之前泄漏或伯父錯誤當解壓tarball
但是我下一階段的管道,我想使用集群的最大容量通過設置:
spark.task。cpu 1
目前,作為一種變通方法來存儲中間結果,讀取數據與其他集群與適當的設置。
我的問題是:我能spark.task動態變化。每個階段或轉換的cpu嗎?
同樣的問題沒有回答:
https://stackoverflow.com/questions/40759007/dynamic-cpus-per-task-in-spark
