嗨@EDDatabricks EDDatabricks,讓我試著回答所有的問題:
- 日誌不符合邏輯。這是日誌的實際大小。如果_delta_log的規模很大,那是因為沒有。δ版本表中創建並保留。默認情況下,三角洲日誌rentention 30天。你可以考慮降低這個沒有。但這將影響能夠穿越時間以前的版本。
- 真空取決於所花的時間。表中存在的文件夾和文件。
- 真空隻刪除過期文件表中存在即不再引用的任何文件。如果沒有顯著減少,這意味著大多數的文件仍在使用的表。
- 在沒有真空的命令,有表中的多個文件。因此,運行select查詢,工作必須解析多個文件,這可以影響查詢的性能。你應該經常運行優化和真空命令放在桌子上。
- 真空命令應該經常運行在桌子上在運行真空查詢之前,你應該運行優化查詢放在桌子上。優化查詢壓縮數據,減少了沒有。表中文件的小文件合並到大文件。作為一個過程,它生成的文件真空命令可以用來刪除。
此外,除此之外,這裏有一些額外的見解從提供的信息:
表數據是7.5結核病和有500 k文件這意味著平均文件大小是25 MB非常少。我的理解是,你的表分區策略的產生非常小的分區不高效。
這是一個很好的練習定期運行優化和真空命令。但從提供的信息,看來你沒有運行真空命令在很長一段時間。為這裏有更多的工作要做真空和優化,最初要花更多的時間。但是一旦工作量減少,時間也會下降。
