我有這個三角洲湖ADLS水槽通過火花結構化數據流。我們通常添加新數據從數據源到三角洲湖,但也有一些情況下,當我們發現數據中的錯誤,我們需要再處理一切。所以我們要做的是刪除所有數據和檢查點重新運行的管道,在我們ADLS內部正確的數據。
但這種方法的問題是,終端用戶保持一天沒有數據分析(因為我們需要刪除它重新運行)。因此,為了解決這個問題,我想知道如果有一個方法一個“覆蓋”輸出使用結構化流所以我們可以覆蓋數據到一個新的三角洲版本,和最終用戶仍然可以使用當前版本查詢數據。
我不知道是否有可能使用流媒體,但我想知道如果任何人有一個類似的問題,以及如何去解決它
謝謝!
