我有一百萬行,我需要更新它尋找最高的數相同的源數據和替換的前任相同的值在不同的行。
為例。
原來的DF。
sno對象名稱形狀評級
1水果蘋果1.0圓
2水果蘋果2.0圓
3水果蘋果2.5平方
4橙色水果1.5圓
' ' '
DF所需的目標。
' ' '
sno對象名稱形狀評級
1水果蘋果1.0圓
2水果蘋果2.0圓
3水果蘋果輪2.5 <——自動檢測形狀的差異從廣場輪列和更新
4橙色水果1.5圓
' ' '
請建議,如何實現databrick使用我。e pyspark hiveSQL或scala