Genrated分區列不是由優化器使用

[AlexDavies]

我們已經創建了一個表使用列生成的新特性(https://docs.microsoft.com/en-us/azure/databricks/delta/delta-batch # deltausegeneratedcolumns)

創建表攝取。MyEvent(二進製數據,主題字符串,時間戳的時間戳,日期日期生成總是(CAST(時間戳日期)))用δ分區(主題、日期)位置“/ mnt /數據/ MyEvent”

運行時

SELECT *的時間戳> 2021 - 06 - 01 t12:34”

我們預期下推一個過濾器”日期> = 2021-06-01”,這樣就可以利用分區的列,而無需顯式查詢。但是它不壓低過濾約會,所以沒有受益於分區過濾

是生成的列,預計將用於優化查詢?有可能使生成的列的工作我希望還是我期望太多?

[werners1]

我認為你在select查詢必須通過一個日期,而不是一個時間戳。

生成的列會得到一個時間戳和分區的數據。

但是文檔狀態:

當你寫與生成的列一個表,你不顯式地為他們提供值,三角洲湖自動計算值。

所以日期列將在寫。但這不是閱讀的情況的。

所以“選擇時間戳”不會翻譯成“選擇日期”。當你查詢時間戳列,火花將讀取時間戳列,表是不分區的。試試這個初版:

SELECT *的日期= ' 2021-06-01 '