我們有一個項目要求必須為三角洲表存儲隻有14天的曆史。對於測試,我已經設置了三角洲。logRetentionDuration= 2 days using the below command
火花。sql (“alter table三角洲。“[delta_file_path]”設置TBLPROPERTIES(“三角洲。logRetentionDuration ' = '間隔2天')”)
然而,我試過在特定的間隔,即。,(after two days) I can still time travel back to previous versions. Do we need to run Vacuum after setting this property, or it works only for >30 days?
我能得到幫助嗎?
同時,將它刪除數據文件或日誌文件隻會被刪除嗎?
嗨@Priyanka鬃毛,
快速筆記:
你需要這兩個日誌和數據文件穿越到以前的版本。
真空——不會刪除日誌文件。它隻刪除數據文件,不會自動刪除,除非你運行真空。日誌文件自動清理後新的檢查點。
logRetentionDuration每次寫一個檢查站,磚自動清理日誌條目超過保留時間間隔。在你的情況下,寫一個新的檢查點時,清空日誌2天以上。一旦這一切發生的時候,你不能做時間旅行日誌文件版本現在不可用。
和刪除數據文件相關的日誌,你必須運行一個真空,沒有其他方法來刪除數據。
logRetentionDuration需要任何日曆間隔像x天,周等數月乃至數年不接受。
最後,所有這些隻能幫助當你正在做一個新事務,所以有一個新的logretentionduration檢查點。
我希望這些細節的幫助。
歡呼。
謝謝你的建議。我有設置日誌保留時間為2天,2天後我執行一個事務。它沒有刪除舊的日誌,我可以時間旅行回到以前的版本