文件未找到錯誤。刪除初始版本的增量優化表嗎?

[Data_Analytics1]

df = (spark.readStream.format \(“δ”)

.option (“readChangeFeed”,“真正的”)\

.option (“startingVersion”, 1) \

.table (“CatalogName.SchemaName.TableName”)

)

顯示器(df)

事務日誌中引用一個文件無法找到。這發生在手動數據從文件係統中刪除表,而不是使用“刪除”聲明。

當我看到文件的路徑,文件不存在。這是手動刪除和優化。

δ表有任何默認設置優化表嗎?當我檢查表的曆史,一些記錄優化的優化後,我沒能看到以前版本的表雖然完整的數據是可用的,但我看不出的初始版本數據表。

[swethaNandan · Accepted solution]

你在表上運行真空嗎?真空可以清理數據文件標記為刪除,並超過保存期。

優化壓縮文件,標誌著小文件刪除,但不刪除數據文件