嗨,團隊,
我們有一個複雜的ETL作業運行6小時的磚。集群具有以下配置:
Minworkers: 16
Maxworkers: 24
工人和司機節點類型:Standard_DS14_v2。(16核心,128 GB的RAM)
我有監控工作進展引發UI的一個小時,和我的觀察如下:
——工作進展,而不是困了很長一段時間。
工作者節點擴大到24 (max_workers配置)
-洗牌(讀/寫)發生在大量的數據。(我跑這個spark.sql.shuffle的工作。4000年分區)
我們期待著工作應在4小時內完成。任何建議,請優化性能的工作嗎?
問候,
拉傑什。