取消
顯示的結果
而不是尋找
你的意思是:

動態分區修剪覆蓋

pantelis_mare
貢獻者三世

大家好,

我有另一個奇怪的問題,我想確認我是否這是一個錯誤或預期的行為:

我加入一個大型數據集的維度表如預期的一樣,在民進黨被激活。

我試圖禁用功能,因為它改變了我殘疾人通過讀取分區

spark.sql.optimizer.dynamicPartitionPruning。和spark.databricks.optimizer啟用。prunning dynamicPartitionPruning但我仍然有動態分區。

最後我發現spark.databricks.optimizer.deltaTableFilesThreshold推高到一個巨大的數字我設法看到我的sql查詢不使用民進黨。

預計這種行為?我會說不給民進黨文檔在這裏

測試DBR 9.1和10

1接受解決方案

接受的解決方案

pantelis_mare
貢獻者三世

你好@Kaniz開羅

謝謝你花時間來回答。

這個問題在本例中是spark.databricks.optimizer.deltaTableFilesThreshold激活民進黨即使它被正式釋放通過所有可用的“啟用”屬性設置為false(見我最初的職位)

在原帖子查看解決方案

3回複3

匿名
不適用

你好!謝謝你的問題。我想把這一段時間,看看社區提出了。否則,我會撞中小企業。

Kaniz
社區經理
社區經理

嗨@Pantelis Maroudis spark.databricks.optimizer.deltaTableFilesThreshold(默認是10磚運行時8.4及以上,1000年磚運行時的8.3及以下):代表三角洲的文件數量表探頭一側連接需要觸發動態文件的修剪。當探測器方麵比閾值表包含更少的文件,動態文件修剪不觸發。如果一個表隻有幾個文件,它可能是不值得啟用動態文件修剪。

來源:-https://docs.www.eheci.com/delta/optimizations/dynamic-file-pruning.html?_ga=2.75262864.326194262.1..。

pantelis_mare
貢獻者三世

你好@Kaniz開羅

謝謝你花時間來回答。

這個問題在本例中是spark.databricks.optimizer.deltaTableFilesThreshold激活民進黨即使它被正式釋放通過所有可用的“啟用”屬性設置為false(見我最初的職位)

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map