π數據合並操作變慢。我怎麼調試?

[sajith_appukutt]

我們有一個結構化流工作配置為讀取event-hub並持續到三角洲通過合並在一個原始/銅層foreachBatch,然而最近,合並進程長時間。如何優化這個管道?

[sajith_appukutt · Accepted solution]

三角洲湖在兩個步驟完成合並

1. 執行一個內連接源表和目標表之間選擇所有文件匹配。
2. 執行一個外連接所選文件之間在目標和源表和寫出更新/刪除/插入數據。

如果發現三角洲湖的文件需要重寫正在太久,試題:

添加更多謂詞來縮小搜索空間。

• 調整洗牌分區。
• 調整播放加入閾值。
• 調整文件(平衡太多小文件和一些大文件)

如果重寫實際文件本身是太長,試一試:

• 調整/ AQE洗牌分區
• 啟用優化寫道
• 調整播放閾值。