重複數據刪除、青銅(生)或銀(豐富)

[baatchus]

需要一些幫助在選擇做重複數據刪除的數據。所以我在blob存儲傳感器數據,我撿磚自動裝卸機。可以有重複的數據和文件。

我選擇這兩個選項呢?

選項1:

• 創建一個青銅(生)三角洲湖表隻讀取的文件自動裝卸機和附加數據。
• 創建一個銀(豐富)三角洲湖表,從青銅表讀取和刪除處理合並嗎?
• 創建一個銀(豐富)三角洲湖,從第一個銀表讀取並連接與另一個表。

選項2:

• 創建一個青銅(生)三角洲湖表讀取的文件自動裝卸機和並合並成刪除處理
• 創建一個銀(豐富)三角洲湖表讀取從第一個銀表和連接與另一個表。

[werners1]

我將使用第二個選項,原因很簡單,deduped表實際上是原始數據但沒有重複。

除非你需要有一個三角洲湖表副本?

如果沒有,你隻會創造更多的開銷:你在blob存儲原始數據,青銅表dup和銀表沒有複製品。

所以你有3份相同的模式。選項2減少到2。

但是:除非你有理由保持dupδ表。

PS.注意,合並本身可以重複失敗的原因:

合並操作會失敗如果源數據集的多行匹配和merge試圖更新相同的目標三角洲表行。根據SQL合並的語義,等更新操作是模棱兩可的尚不清楚應該使用哪個源行更新匹配的目標行。

[peter_mcnally]

我很好奇你決定做什麼。也可能你現在會做什麼。我有一些傳感器數據我抓住一個API基於日期字段。配置API的方式,可能會有一些重疊的時間我想dedup任何這樣的記錄。

謝謝!

[Tharun-Kumar]

@peter_mcnally

您可以使用水印挑選記錄和後期青銅表隻發送最新的記錄。這將確保你在青銅總是最新的信息表。

這個特性是詳細解釋//www.eheci.com/blog/2022/08/22/feature-deep-dive-watermarking-apache-spark-structured-st..。