三角洲表生成sh2 hashkey同時加載文件

[Vijaykumarj]

我有文件在azure數據湖。我用自動裝卸機讀增量文件

沒有主鍵加載文件,在這種情況下我想用一些列和生成一個hashkey變化和使用它的主鍵。

在這種情況下我想和haskkey加載我的初始文件應該附加列

也為microbatches hashkey需要附加。

但是當我用sh2生成哈希關鍵錯誤

輸入文件名:

inputpath = ' abfss: / / * * * @ * * *.dfs.core.windows.net/test/'

df = spark.readStream.format (cloudFiles) .option (“cloudFiles.format”、“csv”) .option .option (“cloudFiles.schemaEvolutionMode”、“救援”)(“cloudFiles。schemaLocation”, checkpoint_path) .load (inputpath)

df.withColumns用戶(“Hashkey sha2 (concat_ws (”、“df (“id”), df (“product_Name”), df(的位置),df [' offer_code ']), 256))

得到

AssertionError:

[Hubert_Dudek1]

你能複製整個錯誤嗎?

我敢打賭,它應該withColumn不是withColumns(刪除)

[Vijaykumarj]

抱歉為延遲響應,請參考下麵的錯誤

[Jfoxyyc]

withColumn試試。withColumns需要數組的列和做,像重命名使用正則表達式。withColumn創建新列命名。

[Debayan]

你好,你能提供錯誤代碼嗎?