如何保持主鍵列在磚三角洲多集群環境

[AdityaDeshpande]

我試圖複製SQL數據庫等功能維持在Databrciks三角洲主鍵的方法,數據被寫入Blob存儲如ADLS2 oe AWS S3。

我想要一個自動遞增主鍵功能使用磚三角洲。

現有的方法,是使用最新的行數和維護主鍵。然而,這種方法不適合並行處理環境中,主鍵重複數據。

[girivaratharaja]

嗨@Aditya Deshpande

沒有鎖定機製的PK三角洲。您可以使用df row_number()函數和節約使用寫前三角洲和做不同的()。

[AdityaDeshpande]

這是我們使用現有的方法。但這限製運行時多集群環境中寫數據到相同的目的地。