加載維度包括SCDType2

[BeginnerBob]

我有一個客戶維度,每一個增量加載我應用類型2或類型1維度。

這個尺寸是基於一個銀表在我的三角洲湖我申請一個merge語句的地方。

如果我需要回去和跟蹤額外2型變化。這是可能的?我怎麼回去呢?

[werners1]

所以你需要一個或多個額外的列的化合物。

這取決於:如果你還有完整的改變曆史,你可以閱讀所有這些文件,重建新SCD列的所有更改。但我認為你正在談論三角洲湖。三角洲湖本身並保持曆史但沒有很長時間。所以當真空運行時,它被清洗。

所以除非你所有的舊數據坐在某個地方,你不能很不幸。

[BeginnerBob]

感謝維爾納,

我被告知可以基本上從頭重新創建一個類型二維,沒有閱讀1×1的文件,使用三角洲湖時間轉變。然而,似乎並沒有這種情況,唯一的方法來創建這是增量加載數據。

謝謝,

[werners1]

這是正確的:如果三角洲湖版本仍然可用,你可以查詢的表使用一個舊版本。但是,如果版本仍然存在。三角洲湖並不把所有的曆史。

通常是7天,或30天根據您的配置。

看看在你的工作區。如果你不是太遲了你使用時間旅行可以重建它。

https://docs.www.eheci.com/delta/delta-batch.html id10

你可以考慮深克隆三角洲表。但這是有代價的(存儲)。

https://docs.www.eheci.com/spark/2.x/spark-sql/language-manual/clone.html

[Kaniz]

嗨@Lloyd維克瑞,我們一直沒有收到你最後的回應@Werner Stinckens,我檢查,看看他的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。