如何創建一個代理鍵序列中我可以使用SCD的箱子嗎?

[Pascalvan_Belle]

嗨社區

我想知道如果有一個選項來創建一個整數序列的存在即使集群是關閉。我的目標是使用這個整數值作為代理鍵加入不同的表或緩慢變化維度情況下。

[girivaratharaja]

嗨@pascalvanbellen,沒有一顆的概念,PK, SK火花。但是磚δ自動照顧SCD類型的場景。https://docs.www.eheci.com/spark/latest/spark-sql/language-manual/merge-into.html slowly-changing-d……

如果你想彌補SK概念在火花,請閱讀我的博客。

https://hadoopist.wordpress.com/2016/05/24/generate-unique-ids-for-each-rows-in-a-spark-dataframe/