取消
顯示的結果
而不是尋找
你的意思是:

三角洲表分區目錄啟用列映射時

Gary_Irick
新的貢獻者三世

最近,我創建了一個表在Azure集群運行磚11.1運行時。“日期”列的表分區。我啟用列映射,如下:

ALTER TABLE}{模式。{table_name} TBLPROPERTIES (delta.columnMapping。模式”=“名稱”、“三角洲。minReaderVersion ' = ' 2 ', '三角洲。minWriterVersion ' = ' 5 ')

之前啟用列映射,包含三角洲的目錄表有預期的分區目錄:“日期= 2022-08-18”,“日期= 2022-08-19”,等等。

啟用列映射後,每次我做一個合並到那張桌子,我獲得較短的新創建的目錄名稱“5 k”,“Rw”、“碼”,等等。當我真空表,大部分的目錄是空的,但不刪除空目錄。我們經常合並到這個表,該表包含三角洲表結束了很多很多的空目錄。

我有兩個問題:

預計它將創建這些目錄的名字其他比預期的“日期= 2022-08-18”嗎?

有辦法使真空刪除空目錄嗎?

三角洲表我可以編寫代碼來遍曆目錄,刪除空目錄,但我寧願不碰那些目錄!這是磚來管理的,我不想介入。

提前感謝您可以提供的任何信息。

7回複7

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,對於使用真空的刪除文件或目錄,你可以參考https://docs.www.eheci.com/delta/delta-utility.html remove-files-no-longer-referenced-by-a-delta-ta……

據我所知,日期將默認命名語法,可以重命名。

Vidula_Khanna
主持人
主持人

嗨@Gary Irick

@Debayan穆克吉反應回答你的問題嗎?如果是的,你會很高興它標記為最好,其他成員可以找到解決方案更快嗎?

我們很想聽到你的聲音。

謝謝!

gongasxavi
新的貢獻者二世

與我相同的發生。自啟用列映射,新記錄與隨機存儲在文件夾名稱而不是存儲分區的文件夾中

Pete_Cotton
新的貢獻者二世

同樣的問題也發生在我自啟用列映射。文件存儲在文件夾2隨機角色的名字(0 p, 3 h, BB)而不是load_date分區列的日期值(load_date = 2023-01-01, load_date = 2023-01-02)。

嚐試使用磚運行時的12.0但得到相同的結果在執行一個附加或合並操作。有誰能解決這個問題嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map