改變數據提要磚

[Mihai_Cog]

你好,

我正在做一些測試與這個特性變化數據提要使用磚和Pyspark,當然三角洲格式和我不明白一些事情:

1. 我創建了一個表
2. 裏麵保存一些數據
3. 改變數據提要功能啟用
4. 應用一個合並的dataframe包括插入、刪除、更新
   火花。sql(“合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_field當匹配更新設置*WHEN NOT MATCHED THEN INSERT * WHEN NOT MATCHED BY SOURCE THEN DELETE')
5. 檢查數據

SELECT * FROM table_changes(‘表’,2);版本是2

我觀察到的行ID(例如234123)出現兩次。_change_type列我第一occurernce update_preimage,第二喘振update_postimage。

我會說這是正常的事情,因為可能出現兩次改變了ID,但是如果我檢查每個值都出現我明白了沒有變化。

這是正常嗎?

[Tharun-Kumar · Accepted solution]

@Mihai_Cog

你必須把你的merge語句分成2部分。(更新和插入/刪除)。

合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_field和s。<字段> t.fields當匹配更新設置*

合並到測試使用src在年代t。Id = t。Id和年代。date_field = t.date_fieldWHEN NOT MATCHED THEN INSERT * WHEN NOT MATCHED BY SOURCE THEN DELETE

在第一個語句,您必須包括所有的列,你如果不想更新發生相同的值,然後執行更新。第二個語句將幫助您插入和刪除記錄。

[Mihai_Cog · Accepted solution]

我非常感謝你的幫助。

如果我有任何其他的問題,我會回來的