在每個表上運行真空

[alejandrofm]

嗨,符合我的問題優化這是下一步,保留7天我可以所有表上執行真空一周一次,這是一個推薦的過程嗎?

我如何知道我是否會從真空中獲得任何好處,沒有排練,運行所有但跳過最後一部分時刪除這些文件。

和任何一個腳本共享迭代每個表和運行一個命令,我發現類似的示例腳本,但沒有火花。

謝謝!

[AmanSehgal · Accepted solution]

理想情況下7天建議,但與數據討論利益相關者識別合適的是什麼?7/14/28天。

使用真空,首次運行一些對行為的分析你的數據。

識別%的操作執行更新和刪除和插入操作。這將告訴你有多少文件不再被引用了,需要清理。

了解真空之前和之後運行查詢的效率真空操作。提高性能的時間嗎?也許做真空在不同間隔7/14/28天。

和絕對使用真空如果有要求消滅特定場景的數據係統。

因此沒有腳本。但是,你可以試試這個:

% python # table_list =引發所有表的列表。sql(從<數據庫名稱>“顯示表”).select .rdd(“表”)。地圖(λx: x [0]) .collect table_name(表):火花。sql (f“真空{}”.format(表)

[美果欖]

謝謝你的詳細解釋。