在磚我有一個現有的三角洲表,我想添加一個列,為Id,這樣每一行沒有惟一的Id,連續(主鍵是如何在sql)。
到目前為止我已經嚐試把δ表pyspark dataframe並添加新列
從pyspark.sql。窗口導入窗口,W
從pyspark。sql導入函數F
df1 = df1。withColumn (“idx F.monotonically_increasing_id ())
windowSpec = W.orderBy (“idx”)
F.row_number () .over (windowSpec)),告訴()
我試著寫回差值表,
df.write.mode(“追加”).format(“δ”).save(位置/ db.tablename)
它寫道但是查詢後的數據值是null新id列。我讀,覆蓋模式將刪除所有之前的數據。我怎麼能把δ表和列id數據插入數據時保持遞增id列?
我想實現添加一個自動增量δ表列。磚運行時是7.3。
