動態分區修剪覆蓋

[pantelis_mare]

大家好,

我有另一個奇怪的問題,我想確認我是否這是一個錯誤或預期的行為:

我加入一個大型數據集的維度表如預期的一樣,在民進黨被激活。

我試圖禁用功能,因為它改變了我殘疾人通過讀取分區

spark.sql.optimizer.dynamicPartitionPruning。和spark.databricks.optimizer啟用。prunning dynamicPartitionPruning但我仍然有動態分區。

最後我發現spark.databricks.optimizer.deltaTableFilesThreshold推高到一個巨大的數字我設法看到我的sql查詢不使用民進黨。

預計這種行為?我會說不給民進黨文檔在這裏

測試DBR 9.1和10

[匿名]

你好!謝謝你的問題。我想把這一段時間,看看社區提出了。否則,我會撞中小企業。

[Kaniz]

嗨@Pantelis Maroudis spark.databricks.optimizer.deltaTableFilesThreshold(默認是10磚運行時8.4及以上,1000年磚運行時的8.3及以下):代表三角洲的文件數量表探頭一側連接需要觸發動態文件的修剪。當探測器方麵比閾值表包含更少的文件,動態文件修剪不觸發。如果一個表隻有幾個文件,它可能是不值得啟用動態文件修剪。

來源:-https://docs.www.eheci.com/delta/optimizations/dynamic-file-pruning.html?_ga=2.75262864.326194262.1..。

[pantelis_mare · Accepted solution]

你好@Kaniz開羅

謝謝你花時間來回答。

這個問題在本例中是spark.databricks.optimizer.deltaTableFilesThreshold激活民進黨即使它被正式釋放通過所有可用的“啟用”屬性設置為false(見我最初的職位)