加載增量數據

[Zara]

我想加載增量數據三角洲生活表,我寫函數加載數據10表,每次運行管道,有些表是空的,一個模式,當我再次運行時,另一個表是空的,前麵的表是完整的,我每次發生管道運行。在函數內部,我用@dlt.table。

[Rishabh264]

你在三角洲住正在加載數據表,有完整的刷新和更新的概念,如果你全部刷新會截斷之前的數據,隻有給你的模式,所以在這種情況下,你要做的那些表隻刷新,你不想做截斷。檢查你在做完整更新或刷新表

[Annapurna_Hiriy]

@zahra Jalilpour

如何DLT表和視圖更新取決於更新類型:

• 刷新所有:所有生活表更新,以反映當前狀態的輸入數據來源。對於所有流表,新行添加到表中。
• 全部刷新所有:所有生活表更新,以反映當前狀態的輸入數據來源。流表,三角洲生活表試圖清除所有數據從每個表,然後加載所有數據流源。

現有的生活表,更新相同的行為作為一個SQL刷新物化視圖。為新生活表,SQL創建操作行為是一樣的。