合並和數據丟失

[lizou]

我有三角洲表20 M行,其他表更新每天幾十次。合並使用,1年的合並工作正常。但是最近我開始注意到一些數據從並入刪除不刪除指定。並入onmly做更新。

我發表了一個測試筆記本,但我無法重現這個問題。

我可以重現這個問題在生產數據庫。

人遇到類似的問題嗎?

https://databricks-prod-cloudfront.cloud.www.eheci.com/public/4027ec902e239c93eaaa8714f173bcfc/6324..。

[Noopur_Nigam]

嗨@lizou如果我們沒有任何刪除merge命令中指定條件的匹配子句時,它不應該刪除數據。是桌子上有真空運行之後,你開始麵臨的問題?

我們不能訪問筆記本沒有票的支持。如果你找不到任何刪除條件在merge命令,並沒有真空運行放在桌子上,你可以創建一個支持案例進行進一步分析。你可以在這裏提高支持票:https://help.www.eheci.com/s/

[lizou]

我不能重現這個問題了。現在,我要限製合並的數量作為中間數據轉換成命令不需要版本控製的曆史。我將嚐試使用視圖為每個步驟相結合,做一次性合並成最終的表。