大家好,
我有另一個奇怪的問題,我想確認我是否這是一個錯誤或預期的行為:
我加入一個大型數據集的維度表如預期的一樣,在民進黨被激活。
我試圖禁用功能,因為它改變了我殘疾人通過讀取分區
spark.sql.optimizer.dynamicPartitionPruning。和spark.databricks.optimizer啟用。prunning dynamicPartitionPruning但我仍然有動態分區。
最後我發現spark.databricks.optimizer.deltaTableFilesThreshold推高到一個巨大的數字我設法看到我的sql查詢不使用民進黨。
預計這種行為?我會說不給民進黨文檔在這裏
測試DBR 9.1和10
你好@Kaniz開羅
謝謝你花時間來回答。
這個問題在本例中是spark.databricks.optimizer.deltaTableFilesThreshold激活民進黨即使它被正式釋放通過所有可用的“啟用”屬性設置為false(見我最初的職位)
嗨@Pantelis Maroudis spark.databricks.optimizer.deltaTableFilesThreshold(默認是10磚運行時8.4及以上,1000年磚運行時的8.3及以下):代表三角洲的文件數量表探頭一側連接需要觸發動態文件的修剪。當探測器方麵比閾值表包含更少的文件,動態文件修剪不觸發。如果一個表隻有幾個文件,它可能是不值得啟用動態文件修剪。